Gibt es Phasenübergänge in KI?

Große Sprachmodelle können manches plötzlich, was kleinere gar nicht konnten. Ob das ein echter Sprung ist oder eine Frage der Messung, ist eine zentrale Debatte der KI-Forschung. Unsere Einordnung nach 21 Arbeiten: Die Sprünge in den Kurven gibt es, aber sie hängen stark davon ab, wie man misst. Der Satz „Modelle entwickeln plötzlich neue Fähigkeiten“ geht über das hinaus, was die Forschung belegt.

Woraus sich das zusammensetzt

• Grundlage: 21 wissenschaftliche Arbeiten von verschiedenen Forschungsgruppen, Aussagen an den Zusammenfassungen und für fünf Kernaussagen an den Volltexten geprüft
• Art der Quelle: überwiegend Preprints auf arXiv ohne bestätigte Begutachtung; begutachtet erschienen ist nachweislich die Ausgangsarbeit (Wei u. a., TMLR 2022)
• Bestätigung: für beide Seiten der Debatte durch mehrere Autorenteams
• Regel: Stufe 5 nur mit begutachteter Grundlage

Bewertet die Quellen, nicht das Thema und nicht unsere Einordnung.

Worum es geht

2022 beschrieb eine Forschungsgruppe mit Erstautor Jason Wei „emergente Fähigkeiten“ großer Sprachmodelle: Fähigkeiten, die in kleineren Modellen nicht vorhanden sind, in größeren aber schon – und die sich deshalb nicht aus den kleineren Modellen hochrechnen lassen. In der Arbeit heißt es, die Leistung liege „nahe am Zufall, bis eine kritische Größenschwelle erreicht ist“, danach steige sie deutlich. Die Autorinnen und Autoren nennen das ausdrücklich einen „Phasenübergang“ – ein Begriff aus der Physik, etwa für Wasser, das gefriert. Die Arbeit erschien begutachtet in der Fachzeitschrift TMLR.

Das Bild hat Folgen über die Forschung hinaus. Wenn Fähigkeiten sprunghaft auftauchen, lässt sich schlecht vorhersagen, was das nächste, größere Modell kann. Auf die politischen Folgen wies schon Anfang 2022 eine Arbeit mit Erstautor Deep Ganguli hin: Der Fehler eines Modells (der Verlust) sinke beim Vergrößern vorhersagbar, einzelne Fähigkeiten tauchten aber unvorhersehbar auf.

Die Gegenthese: ein Effekt der Messung

2023 stellten Rylan Schaeffer, Brando Miranda und Sanmi Koyejo die Frage im Titel: Are Emergent Abilities of Large Language Models a Mirage? Ihr Argument: Die Sprünge entstehen durch die Wahl der Kennzahl. Wer nur „ganz richtig oder falsch“ zählt, sieht eine Treppe; wer misst, wie nah eine Antwort an der richtigen liegt, sieht eine glatte Kurve – bei denselben Modellausgaben. Für Rechenaufgaben der GPT-3-Familie zeigen sie, dass die Leistung mit einer stetigen Kennzahl „glatt, stetig und vorhersagbar“ steigt. Über 92 Prozent der als emergent beschriebenen Fähigkeiten im Testpaket BIG-Bench tauchten unter genau zwei solcher Alles-oder-nichts-Kennzahlen auf.

Weitere Gruppen kamen auf anderen Wegen zu ähnlichen Ergebnissen:

• Eine Arbeit mit Erstautor Sheng Lu (2023) erklärt mit über 1.000 Experimenten angeblich emergente Fähigkeiten aus dem Zusammenspiel von Lernen im Kontext (Beispiele in der Eingabe), Gedächtnis und Sprachwissen.
• Ricardo Dominguez-Olmedo, Florian Dorner und Moritz Hardt (2024) zeigen: Viele Modelle wurden mehr oder weniger gezielt auf die Testaufgaben vorbereitet. Stellt man für 56 Modelle gleiche Bedingungen her, verschiebt sich die Emergenz zu deutlich weniger Rechenaufwand und verschwindet allmählich. Beim Wissenstest MMLU rückt die Schwelle nach Training mit 64.000 Beispielen von etwa 10²² auf 6·10²⁰ Rechenoperationen; die Anpassungsgüte (R²) steigt von 0,63 auf 0,95. Wichtig: Dort reicht die Kennzahl als Erklärung nach eigener Aussage nicht aus.
• Eine Gruppe mit Erstautorin Rosie Zhao (2025) verglich Trainingsläufe mit verschiedenen Zufallsstartwerten und fand eine zweigipflige Verteilung der Ergebnisse. Was wie ein Sprung aussieht, ist eine stetige Verschiebung dieser Verteilung – auch bei stetigen Kennzahlen.
• Für Agenten fand eine Arbeit von 2026 (CurveShift) auf Zeithorizont-Daten von METR: Der scheinbare Fortschritt gerade bei schweren Aufgaben erklärt sich „weitgehend“ durch Deckeneffekte – leichte Aufgaben sind bereits gelöst und können nicht weiter zulegen. Ein kleiner echter Zuwachs bei den schwersten Programmieraufgaben bleibt (Lösungsquote etwa 18 auf 25 Prozent). Die Autorinnen und Autoren beschränken diese Aussage ausdrücklich auf Programmierwettbewerbe.

Warum die Debatte nicht entschieden ist

Mehrere Arbeiten finden Sprünge, die sich nicht auf die Kennzahl zurückführen lassen. Eine Gruppe mit Erstautor Zhengxiao Du (2024) findet Sprünge auch bei stetigen Kennzahlen: Fähigkeiten tauchten auf, sobald der Verlust im Vortraining eine Schwelle unterschreite; davor bleibe die Leistung auf Zufallsniveau. Eine Arbeit mit Erstautor Shengding Hu (2023) misst mit sehr vielen erzeugten Antworten so fein, dass schon kleine Modelle messbare Fortschritte zeigen. Damit sagen die Forschenden die Leistung eines Modells mit 2,4 Milliarden Parametern bei Programmieraufgaben vorab bis auf 0,05 Prozent genau voraus. Daneben finden sie aber eine „beschleunigte Emergenz“, die sich mit üblichen Skalierungsgesetzen nicht erklären lasse. Sanjeev Arora und Anirudh Goyal liefern eine Theorie, warum zusammengesetzte Fähigkeiten bei etwa gleicher Skalierung und Geschwindigkeit entstehen wie ihre Bausteine.

Ein Überblicksartikel von Berti, Giorgi und Kasneci ordnet die verschiedenen Definitionen und die Bedingungen, unter denen Emergenz behauptet wird, darunter schädliche emergente Verhaltensweisen. David und John Krakauer und Melanie Mitchell prüfen die Emergenz-Behauptungen aus Sicht der Komplexitätsforschung.

Wo Sprünge gut belegt sind: im Training

Andere Arbeiten vergleichen nicht viele Modelle, sondern beobachten ein Modell beim Lernen:

• Grokking: Bei kleinen algorithmischen Aufgaben lernen Netze erst auswendig und verallgemeinern dann – lange nach dem Überanpassen – plötzlich perfekt (Power u. a., 2022). Zwei Arbeiten beschreiben das als Phasenübergang (Rubin u. a., 2023; Clauw u. a., 2024).
• Induction Heads (Induktionsköpfe): Eine Gruppe mit Erstautorin Catherine Olsson zeigte 2022, dass ein sprunghafter Anstieg des Lernens im Kontext genau dann auftritt, wenn sich bestimmte Aufmerksamkeitsmuster bilden. Für kleine Modelle mit ursächlichen Belegen, für große nur mit Korrelationen.
• Zufällige Emergenz: Eine Arbeit von 2026 (Baherwani u. a.) findet, dass Fähigkeiten im Training zufällig verteilt auftauchen, bei größeren Modellen im Mittel früher. Jedes Auftauchen entspreche dem abrupten Lernen spärlicher, aufgabenbezogener Aufmerksamkeitsmuster.
• Emergente Weltmodelle: Ein Modell, das nur Züge des Brettspiels Othello sah, bildete intern den Spielstand ab (Li u. a., 2022); eine Nachprüfung mit sieben Modellen stützt das (Yuan und Søgaard, 2025).

Diese Befunde stammen überwiegend aus kleinen, kontrollierten Aufgaben. Ob dieselben Mechanismen die Sprünge großer Modelle erklären, ist nicht gezeigt.

Die unerwünschte Seite: emergente Fehlausrichtung (Emergent Misalignment)

2025 berichtete eine Gruppe mit Erstautor Jan Betley: Wer ein Modell nur mit unsicherem Programmcode nachtrainiert, bekommt ein Modell, das auch bei ganz anderen Fragen schädlich antwortet. Am stärksten zeigte sich das bei GPT-4o und Qwen2.5-Coder-32B-Instruct. Eine Nachprüfung von 2026 (Schreiber und Goldstein) relativiert es: Der Effekt lässt sich bei GPT-4o nachstellen, aber von zwölf offenen Modellen zeigten nur zwei den Effekt verlässlich, beide mit über 200 Milliarden Parametern. Der Effekt trat spät im Training auf, und ein früheres Beenden des Trainings verhinderte ihn bei durchschnittlich 93 Prozent erhaltener Leistung.

Unsere Einordnung

Was gut belegt ist: Auf Alles-oder-nichts-Tests springen Leistungskurven großer Modelle oft. Und beim Training einzelner Modelle gibt es abrupte Übergänge mit nachweisbarem Mechanismus. Auch die emergente Fehlausrichtung ist real, aber nicht allgemein.

Was nicht belegt ist: dass große Modelle ab einer Größe „aus dem Nichts“ qualitativ Neues können. Mehrere Autorenteams zeigen, dass ein großer Teil der Sprünge verschwindet oder sich verschiebt, wenn man feiner misst, gleiche Trainingsbedingungen herstellt oder Zufallsschwankungen berücksichtigt. Ein Rest bleibt, dessen Natur offen ist.

Was daraus folgt: Die praktische Sorge von 2022 bleibt berechtigt, aber anders als oft erzählt. Ein großer Teil der scheinbaren Unberechenbarkeit geht auf grobe Tests zurück. Ein echter Rest bleibt: Schwankungen zwischen Trainingsläufen und abrupte Übergänge im Training. Wer vorhersagen will, was ein Modell können wird, braucht feine, stetige Messungen und Vergleiche unter gleichen Bedingungen. Das ist eine Anforderung an Prüfstellen und Anbieter, die ihre Modelle selbst testen.

Woran man schwache Berichte erkennt: Sie melden eine „plötzlich entdeckte Fähigkeit“, ohne zu sagen, wie gemessen wurde, mit welcher Kennzahl, gegen welche Vergleichsmodelle und ob die Testaufgaben im Training vorkamen.

Offene Fragen

• Lässt sich der Rest an Sprüngen, der nach allen Korrekturen bleibt, einem Mechanismus zuordnen – etwa dem abrupten Lernen bestimmter Aufmerksamkeitsmuster?
• Gelten die Befunde aus kleinen, kontrollierten Aufgaben auch für große Modelle und für Agenten, die lange selbstständig arbeiten?
• Welche Messverfahren sollten Prüfstellen vorschreiben, damit Fähigkeiten vorhersagbar werden?

Dieses Dossier wird fortgeschrieben, wenn neue Arbeiten erscheinen. Grundlage sind überwiegend Preprints, also Arbeiten ohne bestätigte Begutachtung. Eine Einordnung durch eine Fachperson kann ergänzt werden.

---

Quellen

Alle Arbeiten außer Wei u. a. (TMLR): Preprints auf arXiv, Erscheinungsort nicht geprüft.

• Wei, Tay, Bommasani u. a.: Emergent Abilities of Large Language Models (2022, TMLR) – arXiv:2206.07682
• Ganguli, Hernandez, Lovitt u. a.: Predictability and Surprise in Large Generative Models (2022) – arXiv:2202.07785
• Schaeffer, Miranda, Koyejo: Are Emergent Abilities of Large Language Models a Mirage? (2023) – arXiv:2304.15004
• Lu, Bigoulaeva, Sachdeva u. a.: Are Emergent Abilities in Large Language Models just In-Context Learning? (2023) – arXiv:2309.01809
• Dominguez-Olmedo, Dorner, Hardt: Training on the Test Task Confounds Evaluation and Emergence (2024) – arXiv:2407.07890
• Zhao, Qin, Alvarez-Melis u. a.: Random Scaling of Emergent Capabilities (2025) – arXiv:2502.17356
• Xing, Wang, Meng u. a.: CurveShift: Is Agent Progress Scalar? (2026) – arXiv:2608.00355
• Du, Zeng, Dong u. a.: Understanding Emergent Abilities of Language Models from the Loss Perspective (2024) – arXiv:2403.15796
• Hu, Liu, Han u. a.: Predicting Emergent Abilities with Infinite Resolution Evaluation (2023) – arXiv:2310.03262
• Arora, Goyal: A Theory for Emergence of Complex Skills in Language Models (2023) – arXiv:2307.15936
• Berti, Giorgi, Kasneci: Emergent Abilities in Large Language Models: A Survey – arXiv:2503.05788
• Krakauer, Krakauer, Mitchell: Large Language Models and Emergence: A Complex Systems Perspective (2025) – arXiv:2506.11135
• Power, Burda, Edwards u. a.: Grokking (2022) – arXiv:2201.02177
• Rubin, Seroussi, Ringel: Grokking as a First Order Phase Transition in Two Layer Networks (2023) – arXiv:2310.03789
• Clauw, Stramaglia, Marinazzo: Information-Theoretic Progress Measures reveal Grokking is an Emergent Phase Transition (2024) – arXiv:2408.08944
• Olsson, Elhage, Nanda u. a.: In-context Learning and Induction Heads (2022) – arXiv:2209.11895
• Baherwani, Chen, Qiu u. a.: Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns (2026) – arXiv:2606.25010
• Li, Hopkins, Bau u. a.: Emergent World Representations (2022) – arXiv:2210.13382
• Yuan, Søgaard: Revisiting the Othello World Model Hypothesis (2025) – arXiv:2503.04421
• Betley, Tan, Warncke u. a.: Emergent Misalignment (2025) – arXiv:2502.17424
• Schreiber, Goldstein: Overtrained, Not Misaligned (2026) – arXiv:2605.12199

Thank you to arXiv for use of its open access interoperability.