Trainingsdaten
Datenmenge
Die Gesamtmenge an Textdaten, die für das Training eines Modells verwendet wird. Große Datenmengen verbessern die Lernfähigkeit.
Datenvielfalt
Vielfältige Quellen (z. B. Bücher, Webseiten, Foren) erhöhen die Generalisierungsfähigkeit des Modells.
Datenqualität
Gut kuratierte und bereinigte Daten führen zu besseren Ergebnissen.
Aktualität der Daten
Aktuelle Informationen sorgen dafür, dass das Modell mit modernen Begriffen und Wissen umgehen kann.
Modellarchitektur
Transformer-Architektur
Ein neuronales Netzwerk-Modell, das auf dem Mechanismus der Selbst-Attention basiert – Standard für LLMs.
Parameteranzahl
Je mehr Parameter ein Modell hat, desto komplexere Muster kann es lernen (bis zu einem gewissen Punkt).
Tokenisierung
Aufteilung von Text in kleinere Einheiten (Tokens), z. B. durch Byte Pair Encoding (BPE).
Trainingsmethoden
Unüberwachtes Lernen
Das Modell lernt Muster in Texten, ohne dass diese explizit beschriftet sind.
Feinabstimmung (Fine-Tuning)
Anpassung eines vortrainierten Modells auf spezifische Aufgaben oder Fachbereiche.
RLHF (Reinforcement Learning from Human Feedback)
Verstärkendes Lernen mithilfe menschlicher Rückmeldungen zur besseren Modellanpassung.
Curriculum Learning
Das Modell lernt zuerst einfachere Konzepte und später komplexere – ähnlich dem menschlichen Lernen.
Inferenz & Optimierung
Kontextfenstergröße
Wie viele Tokens das Modell gleichzeitig verarbeiten kann. Größere Fenster ermöglichen komplexere Texte.
Sampling-Strategien
Methoden zur Textgenerierung wie Top-k, Top-p (nucleus sampling), Temperatureinstellungen.
Optimierungstechniken
Techniken wie Quantisierung, Pruning oder Modell-Distillation zur Effizienzsteigerung.
Infrastruktur
Rechenleistung (Compute)
Starke GPUs oder TPUs sind notwendig, um LLMs zu trainieren und zu betreiben.
Skalierbarkeit
Fähigkeit, das Modell über mehrere Maschinen oder Recheneinheiten zu verteilen.
Speicher & Datenübertragung
Große Modelle und Datenmengen erfordern schnelle Speicherlösungen und Bandbreite.
Sicherheit & Ausrichtung
Bias-Reduktion
Maßnahmen zur Vermeidung von diskriminierenden oder verzerrten Ausgaben.
Faktentreue (Halluzination vermeiden)
Vermeidung von erfundenen oder falschen Informationen durch Methoden wie RAG.
Robustheit
Das Modell soll auch bei schwierigen oder ungewöhnlichen Eingaben stabil bleiben.
Ethische Richtlinien
Einhaltung gesellschaftlicher Normen, z. B. durch Inhaltsmoderation oder Filter.
Evaluation
Benchmark-Tests
Standardisierte Tests zur Bewertung der Fähigkeiten (z. B. MMLU, BIG-bench).
Menschliche Bewertung
Bewertungen durch Menschen bzgl. Nützlichkeit, Wahrhaftigkeit und Sicherheit.
Praxisleistung
Wie gut das Modell in realen Anwendungsfällen funktioniert (z. B. Antwortzeit, Genauigkeit).
Training & Modelloptimierung
Pretraining (Vortraining)
Die erste Phase des Lernens, in der das Modell auf großen allgemeinen Textmengen trainiert wird, ohne spezifische Aufgaben.
Hyperparameter
Einstellungen wie Lernrate, Batch-Größe oder Anzahl der Schichten, die das Verhalten des Trainingsprozesses steuern.
Loss-Funktion (Verlustfunktion)
Ein Maß dafür, wie weit die Vorhersagen des Modells von den tatsächlichen Werten abweichen – zentrale Größe beim Lernen.
Gradientenabstieg (Gradient Descent)
Ein Optimierungsverfahren zur Anpassung der Modellparameter auf Basis des Fehlers.
Overfitting (Überanpassung)
Das Modell lernt die Trainingsdaten zu genau, verliert aber die Fähigkeit zu generalisieren.
Underfitting (Unteranpassung)
Das Modell ist zu einfach oder schlecht trainiert, um Muster in den Daten zu erkennen.
Anwendungsbereiche
Textgenerierung
Automatische Erstellung von Texten, z. B. Geschichten, Nachrichtenartikel oder Zusammenfassungen.
Sprachverständnis (Natural Language Understanding, NLU)
Die Fähigkeit eines Modells, Bedeutung, Absichten oder Fragen korrekt zu erfassen.
Fragebeantwortung (Question Answering, QA)
Das gezielte Extrahieren oder Generieren von Antworten auf gestellte Fragen.
Maschinelles Übersetzen
Die automatische Übersetzung von Texten zwischen verschiedenen Sprachen.
Codegenerierung
Erstellen von Quellcode aus natürlichsprachlichen Eingaben.
Chatbots / Konversationssysteme
Modelle, die dialogfähig sind und auf Eingaben in Echtzeit reagieren.
Techniken & Werkzeuge
Prompt Engineering
Die gezielte Gestaltung von Eingaben (Prompts), um gewünschte Ausgaben vom Modell zu erhalten.
Zero-shot / Few-shot Learning
Fähigkeit des Modells, Aufgaben ohne (oder mit sehr wenigen) Beispielen zu lösen.
Retrieval-Augmented Generation (RAG)
RAG ist ein hybrider Ansatz, bei dem externe Informationsquellen abgefragt und in die Textgenerierung einbezogen werden.
Distillation (Wissensdestillation)
Ein Verfahren, bei dem ein großes Modell (Teacher) ein kleineres Modell (Student) anleitet, um effizienter zu werden.
Quantisierung
Reduktion der numerischen Präzision von Modellparametern (z. B. von Float32 auf Int8) zur Leistungsoptimierung.
Evaluation & Analyse
Halluzination
Das Phänomen, dass ein LLM erfundene oder falsche Informationen ausgibt, obwohl sie sprachlich korrekt erscheinen.
Toxicity Detection (Erkennung toxischer Inhalte)
Mechanismen zur Vermeidung von beleidigenden, diskriminierenden oder schädlichen Ausgaben.
Explainability (Erklärbarkeit)
Maßnahmen, die dazu beitragen, die Entscheidungen eines Modells nachvollziehbar zu machen.
Benchmarking
Vergleich von Modellen anhand standardisierter Aufgaben und Metriken.
Human-in-the-Loop (HITL)
Ein Ansatz, bei dem Menschen aktiv in Trainings-, Prüf- oder Anwendungsschritte eingebunden sind.
Technologische Grundlagen
Selbst-Attention
Ein Mechanismus, mit dem das Modell Abhängigkeiten zwischen Wörtern erkennt – zentral im Transformer.
Positionale Kodierung
Ergänzt Informationen über die Reihenfolge der Tokens im Eingabetext.
Layer / Schichten
Ein LLM besteht aus mehreren aufeinanderfolgenden Verarbeitungsschritten (Schichten), z. B. 12, 24 oder mehr.
Heads (Köpfe)
Teil des Attention-Mechanismus, der unterschiedliche Aspekte von Beziehungen zwischen Tokens gleichzeitig verarbeitet.
