Wie funktioniert ChatGPT?
Ein Blick unter die Haube eines modernen Large-Language-Modells (LLM)
Seit dem Aufkommen von ChatGPT im Jahr 2022 hat sich die Interaktion mit Maschinen grundlegend verändert. Doch wie funktioniert dieses System eigentlich im Kern? Warum wirkt es so „intelligent“ – und worauf basiert seine Fähigkeit, kohärente und oft verblüffend präzise Antworten zu liefern?
Die kurze Antwort: ChatGPT ist ein sogenanntes Transformer-Modell, trainiert auf Milliarden von Texten und optimiert durch ausgeklügelte Mechanismen wie Self-Attention und hochdimensionale Vektor-Repräsentationen.
1. ChatGPT denkt nicht – es rechnet mit Sprache
ChatGPT „versteht“ Sprache nicht wie ein Mensch. Stattdessen wird jedes Wort mathematisch dargestellt – genauer gesagt als sogenannter Vektor.
Ein Vektor ist einfach eine lange Reihe von Zahlen, die die Bedeutung eines Wortes beschreiben. Das passiert in einem hochdimensionalen Raum – also nicht auf einem normalen Koordinatensystem mit x- und y-Achse, sondern mit Hunderten oder Tausenden von Dimensionen.
Das Ziel: Wörter, die ähnlich verwendet werden (z. B. „Auto“ und „Fahrzeug“), sollen auch in diesem Zahlenraum nah beieinander liegen. So entsteht eine Art „Bedeutungslandkarte“, die das Modell nutzt, um mit Sprache zu arbeiten.
2. Self-Attention – der Trick, mit dem ChatGPT den Überblick behält
Eine der wichtigsten Erfindungen, die ChatGPT möglich gemacht haben, ist der sogenannte Self-Attention Mechanismus.
Er sorgt dafür, dass das Modell beim Schreiben oder Verstehen eines Satzes auf alle anderen Wörter gleichzeitig achten kann – und selbst entscheidet, welche wichtig sind.
Beispiel:
„Die Katze, die der Hund jagte, sprang auf den Baum.“
Um zu verstehen, wer was tut, muss das Modell wissen, dass die Katze springt, nicht der Hund. Dank Self-Attention kann ChatGPT genau solche Zusammenhänge erkennen – auch über lange Sätze hinweg.
Frühere Modelle mussten Texte von vorne nach hinten durchgehen. ChatGPT schaut auf den gesamten Kontext gleichzeitig. Das macht es so leistungsfähig.
3. ChatGPT lernt aus Texten – aber nicht wie ein Mensch
ChatGPT wurde trainiert, indem man es mit riesigen Mengen an Texten gefüttert hat: Bücher, Webseiten, Artikel, Forenbeiträge und vieles mehr.
Dabei wurde es so trainiert, dass es das jeweils nächste Wort vorhersagen muss, basierend auf dem, was davor kommt.
Beispiel:
“Die Hauptstadt von Frankreich ist …”
Das Modell lernt, dass mit hoher Wahrscheinlichkeit „Paris“ folgt – weil es diesen Satz in vielen Varianten im Training gesehen hat.
Wichtig: ChatGPT speichert keine Fakten wie ein Lexikon, sondern arbeitet mit Wahrscheinlichkeiten. Das ist auch der Grund, warum es manchmal „halluziniert“ – also Dinge erfindet, die plausibel klingen, aber falsch sind.
4. Menschliches Feintuning: Warum ChatGPT so gut klingt
Nach dem ersten Training wurde ChatGPT noch einmal gezielt verbessert – mit Hilfe von Menschen.
Trainer haben dem Modell richtige und hilfreiche Antworten gezeigt und schlechte bewertet. So lernte es, welche Arten von Antworten Menschen wirklich wollen.
Dieses Verfahren heißt Reinforcement Learning with Human Feedback (RLHF) und macht den Unterschied:
Es sorgt dafür, dass ChatGPT nicht nur korrekt, sondern auch hilfreich, freundlich und verständlich antwortet.
5. Fazit: ChatGPT ist keine Magie – sondern sehr clevere Mathematik
ChatGPT basiert auf:
-
Zahlenreihen (Vektoren), die Sprache mathematisch abbilden
-
einem Mechanismus, der alle Wörter gleichzeitig analysieren kann (Self-Attention)
-
einem riesigen Sprachtraining, bei dem das nächste Wort vorhergesagt wird
-
Feedback von Menschen, um nützlicher zu sein
Das Ergebnis ist ein System, das keine echte Intelligenz besitzt – aber so tut, als hätte es sie, weil es gelernt hat, Sprache unglaublich gut zu imitieren.
Je besser man versteht, wie es funktioniert, desto besser kann man es nutzen – sei es fürs Schreiben, fürs Lernen oder für das Online-Marketing von morgen.
