Executive Summary
Large Language Models (LLMs) sind KI-Systeme, die durch Training auf Milliarden von Textbeispielen gelernt haben, Sprache zu verstehen und zu generieren. Sie basieren auf der Transformer-Architektur und nutzen Muster aus Trainingsdaten, um kohärente, kontextbezogene Antworten zu produzieren.
Wichtig: LLMs "wissen" nichts im klassischen Sinne - sie erkennen statistische Muster und generieren plausibel klingende Fortsetzungen. Deshalb können sie auch falsche, aber überzeugend formulierte Informationen produzieren (Halluzinationen).
Wie funktionieren LLMs?
1. Training auf riesigen Datenmengen
LLMs werden auf Milliarden von Texten trainiert (Bücher, Websites, Code, Artikel). Dabei lernen sie, das nächste Wort in einem Satz vorherzusagen - Milliarden Male wiederholt.
2. Transformer-Architektur
Die zugrunde liegende Technologie heißt Transformer (veröffentlicht 2017 von Google). Transformer nutzen "Attention"-Mechanismen, um Kontext zu verstehen - sie "achten" auf relevante Teile des Eingabetexts.
3. Tokenisierung
Text wird in "Tokens" zerlegt (ca. 3/4 eines Wortes). Das Modell verarbeitet diese Tokens sequenziell und berechnet Wahrscheinlichkeiten für das nächste Token.
4. Fine-Tuning & RLHF
Nach dem initialen Training werden Modelle oft noch fine-tuned - trainiert auf spezifische Aufgaben (z.B. Dialogführung). Viele moderne LLMs durchlaufen RLHF (Reinforcement Learning from Human Feedback), um hilfreicher und sicherer zu werden.