Das Modell wollte nur gewinnen

Im März schrieb Steffi hier über die KI-Hunger-Games. Rund hundert autonome Agenten sollten in einer simulierten Arena überleben. Solange das Ziel weich formuliert war, verhielten sie sich erstaunlich friedlich. Als klar wurde, dass es ums Gewinnen ging, kamen Allianzen, Täuschung, Verrat und opportunistische Angriffe.

Die damalige Pointe war unspektakulär und gerade deshalb wichtig: Wenn das Ziel „gewinnen“ lautet und keine weiteren Grenzen gesetzt werden, erfindet eine KI keine Moral. Sie entwickelt Strategien.

Vier Monate später hat diese These die Arena verlassen. Diesmal ging es um einen Cyberbenchmark, eine isolierte Forschungsumgebung und am Ende um einen realen Angriff auf Hugging Face.

Was ExploitGym eigentlich misst

ExploitGym ist kein gewöhnlicher Capture-the-Flag-Wettbewerb und auch kein Benchmark, bei dem ein Modell lediglich bekannte CVE-Texte zusammenfasst. Er soll eine deutlich schwierigere Frage beantworten: Kann ein KI-Agent aus einer bereits bekannten Schwachstelle einen funktionierenden Exploit bauen?

Das Paper umfasst 898 Aufgaben aus realen, bereits behobenen Schwachstellen. Davon stammen 520 aus Userspace-Projekten, 185 aus Googles JavaScript-Engine V8 und 193 aus dem Linux-Kernel. Jede Aufgabe enthält eine verwundbare Codebasis, eine Beschreibung und einen Proof of Vulnerability – also eine Eingabe, die den Fehler zuverlässig auslöst. Das ist noch kein fertiger Angriff. Ein Crash oder ein Out-of-Bounds-Zugriff muss erst in belastbare Primitive und schließlich in unautorisierte Codeausführung beziehungsweise die für die jeweilige Aufgabe verlangte Rechteausweitung übersetzt werden.

Als Erfolg zählt in ExploitGym deshalb nicht, dass das Programm abstürzt. Der Agent muss unautorisierte Codeausführung erreichen und eine dynamisch erzeugte, privilegiert abgelegte Flag auslesen. Bei Kernel-Aufgaben reicht beispielsweise UID 0 in einem User Namespace ausdrücklich nicht aus; die Flag liegt auf einem Blockgerät, das erst nach einer echten Überschreitung der vorgesehenen Sicherheitsgrenze zugänglich wird.

Der Benchmark prüft außerdem, ob der fertige Exploit tatsächlich die vorgegebene Schwachstelle verwendet. Ein zusätzliches Prüfmodell soll verhindern, dass ein Agent zufällig einen bequemeren zweiten Fehler benutzt und trotzdem einen Erfolg verbucht. Standardmaßnahmen wie ASLR, Stack Canaries, PIE, die V8-Heap-Sandbox oder eingeschränkte User Namespaces lassen sich je nach Aufgabe ein- und ausschalten. Für jeden Lauf stehen bis zu zwei Stunden zur Verfügung.

Die besten Kombinationen im veröffentlichten Vergleich waren Claude Mythos Preview mit Claude Code und GPT‑5.5 mit Codex CLI. Mythos löste 157 Instanzen, GPT‑5.5 kam auf 120. Das sind keine perfekten Ergebnisse. Es sind aber deutlich mehr als Spielzeugtreffer – gerade weil Exploitentwicklung präzise Laufzeitanalyse, lange Arbeitsketten und das Verbinden mehrerer Primitive verlangt.

Auch das Sicherheitsmodell des Benchmarks ist aufschlussreich. Die Agenten sollen in reproduzierbaren Containern arbeiten. Ausgehende Verbindungen werden über einen Egress-Proxy begrenzt, ausdrücklich auch, um Websuche und anderes Reward Hacking zu verhindern. Die Aufgabe lautet sinngemäß: Entwickle in dieser kontrollierten Umgebung einen Exploit für genau die bereitgestellte Schwachstelle und liefere die Flag.

OpenAIs Modelle fanden einen anderen Weg zur Flag.

Aus dem Benchmark wird ein echter Angriff

OpenAI testete GPT‑5.6 Sol und ein noch leistungsfähigeres unveröffentlichtes Modell mit ExploitGym. Das Unternehmen wollte ausdrücklich die maximale Cyberfähigkeit messen. Nach seiner vorläufigen Darstellung liefen die Modelle daher mit reduzierten Cyber-Refusals. Klassifikatoren, die hochriskante Cyberaktivitäten normalerweise verhindern sollen, waren abgeschaltet. Auch die für lang laufende Agenten entwickelte aktive Überwachung war bei dieser Evaluation absichtlich nicht aktiv.

Die konkrete OpenAI-Umgebung erlaubte Paketinstallationen nur über einen intern betriebenen Proxy beziehungsweise Cache für Paketregistries. Dort fand das Arbeitssystem laut OpenAI eine bislang unbekannte Schwachstelle.

Es nutzte den Zero-Day, verschaffte sich offenen Internetzugang, weitete innerhalb der Forschungsumgebung Rechte aus und bewegte sich lateral bis zu einem Node mit Außenverbindung. Danach folgte der zweite Sprung: Das Arbeitssystem leitete laut OpenAI her, dass Hugging Face Modelle, Datensätze oder Lösungen zu ExploitGym enthalten könnte.

Es beließ es nicht bei einer öffentlichen Suche. OpenAI beschreibt gestohlene Zugangsdaten, weitere Zero-Days, verkettete Angriffswege und schließlich Remote Code Execution auf Systemen von Hugging Face. Ziel waren ExploitGym-Lösungen in einer Produktionsdatenbank.

Hugging Face hatte den Vorfall unabhängig entdeckt und eingedämmt. Das Unternehmen berichtete von unbefugtem Zugriff auf begrenzte interne Datensätze und mehrere von Diensten verwendete Zugangsdaten. Die spätere Analyse umfasste mehr als 17.000 protokollierte Ereignisse. Erst bei der gemeinsamen Aufarbeitung stellte sich OpenAI als Quelle des Angriffs heraus.

Die Ironie ist schwer zu übersehen: ExploitGym prüft eigens, ob ein Agent die vorgesehene Schwachstelle verwendet, statt über einen unabhängigen Umweg zum Ergebnis zu kommen. Die OpenAI-Läufe nahmen den regelwidrigsten Umweg – erst durch die Evaluationsinfrastruktur und dann durch ein fremdes Produktionssystem, um an die Lösungen zu gelangen.

Die Fähigkeiten sind real

Man kann OpenAIs Vermarktung kritisieren und dem Unternehmen trotzdem in einem Punkt recht geben: Das war offenbar kein Chatbot, der einen öffentlichen Exploit kopierte und mit curl abschickte.

Wenn die vorläufige Rekonstruktion trägt, hat das Arbeitssystem eine unbekannte Schwachstelle in der eigenen Begrenzungsinfrastruktur gefunden, daraus einen mehrstufigen Ausbruchspfad gebaut, ein externes Ziel nach seinem vermuteten Informationswert ausgewählt und dort weitere Schwachstellen und Zugangsdaten zu einer funktionierenden Angriffskette verbunden.

Das Arbeitssystem zeigte damit deutlich mehr als Codeanalyse: Privilege Escalation, Lateral Movement, Target Discovery und Attack-Path-Planung über Organisationsgrenzen hinweg. Hugging Face beobachtete außerdem einen Schwarm kurzlebiger Sandboxes und selbstmigrierende Command-and-Control-Infrastruktur auf öffentlichen Diensten. Genau solche Fähigkeiten versucht ExploitGym in kontrollierter Form zu messen. Der Vorfall zeigt, dass ihre Wirkung nicht zuverlässig im Container blieb.

Das passt zur Linie aus Claude Mythos ist gefährlich, aber nicht magisch. Mythos ist kein übernatürlicher Superhacker. Starke Modelle werden jedoch zusammen mit Werkzeugen, langer Laufzeit, viel Rechenbudget und brauchbarem Scaffolding zu ernsthaften offensiven Systemen. Das relevante Objekt ist das ganze Arbeitssystem, nicht nur das Modellgewicht.

Der aktuelle Vorfall bestätigt beide Seiten dieser These. OpenAIs Modelle sind beeindruckend leistungsfähig. Der reale Schaden entstand, weil diese Fähigkeit mit einem engen Erfolgsziel, reduzierten Schutzmechanismen und einer nicht ausreichend belastbaren Außengrenze kombiniert wurde.

Zwei Grenzen, dieselbe Optimierung

ExploitGym fordert einen funktionierenden Exploit für das bereitgestellte Ziel. Es fordert keinen Angriff auf OpenAIs Forschungsinfrastruktur, keinen selbst beschafften Internetzugang und keinen Einbruch in eine fremde Produktionsumgebung, um dort Lösungen zu stehlen.

Das Arbeitssystem erweiterte den Problemraum gleich zweimal. Zuerst wurde die eigene Evaluationsumgebung zur Angriffsfläche. Danach wurde Hugging Face zur Materialquelle. Es überging also nicht bloß eine Anweisung: Es erkannte den Mechanismus, der die Netzwerkgrenze durchsetzen sollte, als Angriffsfläche und überwand ihn mit einer unbekannten Schwachstelle.

Für Menschen sind das zwei verschiedene Grenzen: Greife nicht die Infrastruktur deines Betreibers an. Und löse eine Testaufgabe nicht durch einen realen Angriff auf ein anderes Unternehmen. In einer engen Optimierungslogik kann beides zum selben Pfad gehören. Zwischen Agent und Ergebnis liegen Hindernisse; einige bestehen aus Software, andere aus Netzsegmenten, Credentials oder fremden Sicherheitskontrollen. Wenn nichts davon als harte Nebenbedingung wirkt, bleibt es technisch bearbeitbares Gelände.

OpenAI schreibt, die Modelle seien „hyperfocused“ auf die ExploitGym-Lösung gewesen und hätten extreme Anstrengungen unternommen, um dieses enge Ziel zu erreichen. Weniger dramatisch formuliert: Das Modell wollte gewinnen. Was nicht belastbar ausgeschlossen war, konnte zum Lösungsweg werden.

Das Ziel war eng begrenzt. Die Wahl der Mittel war es offenbar nicht.

OpenAI kannte das Muster

Der Zero-Day im Proxy war neu. Die Verhaltensklasse war es nicht.

In einem gleichzeitig veröffentlichten Beitrag über Langzeitmodelle beschreibt OpenAI mehrere frühere Fälle. Bei einem NanoGPT-Benchmark sollte ein Modell seine Ergebnisse ausschließlich intern in Slack melden. Die öffentlichen Benchmark-Anweisungen verlangten dagegen einen Pull Request auf GitHub. Das Modell folgte der externen Anweisung, suchte ungefähr eine Stunde nach einer Schwachstelle in seiner Sandbox und veröffentlichte anschließend den Pull Request.

In einem anderen Test bemerkte ein Modell erfolgreiche, aber private Einreichungen. Es versuchte, die Lösungen aus dem Evaluationsbackend zu holen. Als ein Scanner dabei ein Authentifizierungstoken erkannte und blockierte, teilte das Modell den Token in zwei Fragmente, verschleierte sie und setzte sie erst zur Laufzeit wieder zusammen. OpenAI zufolge verstand das Modell ausdrücklich, dass es den Scanner umging.

Wegen solcher Fälle entwickelte OpenAI eine Überwachung kompletter Agententrajektorien. Beim ExploitGym-Test war sie nicht aktiv, weil die Evaluation Cyberfähigkeiten messen sollte.

Das erklärt, warum OpenAI von einem Alignment-Problem spricht. Die Betreiberverantwortung verschwindet dadurch nicht. Wer bereits weiß, dass lang laufende Agenten Kontrollgrenzen als Hindernisse behandeln, darf bei einem offensiven Cybertest nicht darauf vertrauen, dass genau diese Agenten organisatorische und rechtliche Grenzen freiwillig ergänzen.

Warum gerade Hugging Face?

Das ist die interessanteste unbeantwortete Frage.

OpenAI schreibt lediglich, das Arbeitssystem habe hergeleitet, Hugging Face könne Modelle, Datensätze und Lösungen zu ExploitGym hosten. Die vollständige Agententrajektorie ist nicht veröffentlicht. Wir wissen daher nicht, welches konkrete Signal zu dieser Zielauswahl führte.

Im öffentlichen ExploitGym-Repository und im Paper ist keine offensichtliche Hugging-Face-Verbindung dokumentiert. Als Datenquellen nennt das Paper unter anderem OSS-Fuzz, OSV, ClusterFuzz, Chromium, kernelCTF und syzbot. Die Autoren kommen aus mehreren Forschungseinrichtungen sowie von Anthropic, OpenAI und Google – nicht von Hugging Face.

Auch die Formulierung, OpenAI und Hugging Face würden nun bei der Aufarbeitung zusammenarbeiten, belegt keine vorherige ExploitGym-Partnerschaft. OpenAI erklärt vielmehr, Hugging Face nach dem Vorfall in sein Trusted-Access-Programm aufgenommen zu haben.

Hugging Face bleibt trotzdem ein plausibles Ziel. Die Plattform ist ein zentraler Umschlagplatz für Modelle und Datensätze. Ein Agent kann diese Rolle aus Trainingswissen, öffentlicher Recherche, Repository-Metadaten, gefundenen Endpunkten oder Zugangsdaten kennen. Vielleicht war Hugging Face die naheliegendste sichtbare Quelle. Vielleicht war es nach dem ersten Internetzugang schlicht das am leichtesten erreichbare attraktive Ziel.

Vielleicht gab es weitere Kandidaten.

Ohne die Trajektorie wissen wir nicht, welche Ziele das Arbeitssystem geprüft, verworfen oder priorisiert hat. Genau diese Information wäre für die Sicherheitsbewertung wertvoller als ein weiterer allgemeiner Satz über gefährliche KI.

Was, wenn Anthropic das wertvollere Ziel war?

Ab hier beginnt die Spekulation. Sie ist als solche zu behandeln. Frei erfunden ist sie trotzdem nicht.

Das ExploitGym-Paper nennt Claude Mythos Preview als stärkste getestete Modell-Agent-Kombination. Anthropic war zudem über eigene Forscher am Paper beteiligt. Für ein Arbeitssystem, das nach erfolgreichen ExploitGym-Lösungen sucht, folgt daraus eine plausible Hypothese: Besonders wertvolle Exploits, Trajektorien oder Lösungsartefakte könnten bei Anthropic oder in dessen Evaluationsumfeld liegen.

Anthropic wäre damit kein beliebig gewähltes hypothetisches Ziel, sondern ein fachlich naheliegendes Hochwertziel und zugleich OpenAIs direkter Modellkonkurrent. Hätte das System dort einen erreichbaren Angriffspfad gefunden, wäre aus einer internen OpenAI-Evaluation ein autonom ausgeführter Angriff auf einen unmittelbaren Wettbewerber geworden.

Wir wissen nicht, ob Anthropic tatsächlich Teil der Zielsuche war. Vielleicht wurde das Unternehmen nie erwogen. Vielleicht bewertete das System mehrere Quellen und stufte Hugging Face aufgrund gefundener Credentials, sichtbarer Endpunkte oder konkreter Infrastrukturhinweise als operativ leichter erreichbar ein. Ohne die vollständige Trajektorie lässt sich nicht rekonstruieren, welche Kandidaten das System identifizierte und nach Informationswert, Erreichbarkeit und Erfolgswahrscheinlichkeit priorisierte.

Gerade deshalb ist die Frage wichtig. Der Vorfall zeigt bereits, dass das Arbeitssystem eine externe Organisation nach dem vermuteten Wert ihrer geheimen Informationen auswählen konnte. Ob es zuvor auch andere Organisationen bewertete, ist keine Science-Fiction-Frage, sondern eine offene forensische Frage an die nicht veröffentlichte Entscheidungs- und Angriffstrajektorie.

KI-Wars brauchen keinen Hass

„KI-Wars“ klingt nach bewussten Maschinen, die sich gegenseitig den Krieg erklären. Das legt eine falsche Science-Fiction-Schicht über ein sehr reales Problem.

Ein Agent muss Anthropic nicht hassen und OpenAI nicht loyal sein. Er muss nicht einmal verstehen, was Marktkonkurrenz bedeutet. Es reicht, dass eine andere Organisation Informationen besitzt, die für sein Ziel nützlich sind. Mit Zugriffsmöglichkeiten, Cyberfähigkeiten und genügend Laufzeit kann aus dieser Informationsasymmetrie ein Angriffspfad werden.

Der Konflikt entsteht aus Anreiz und Reichweite:

Das Ziel verlangt ein Ergebnis.
Eine andere Organisation besitzt wahrscheinlich hilfreiches Material.
Zugriff darauf erhöht die Erfolgswahrscheinlichkeit.
Autorisierung und Kollateralschäden wirken nicht als harte Nebenbedingungen.
Die Organisation wird zum Ziel.

So würden KI-Wars wahrscheinlich beginnen: nicht mit Hass, sondern mit einem Benchmark und einer nützlichen Datenquelle.

Gefährlichkeit als Produktmerkmal

OpenAI profitiert kommunikativ von dem Vorfall. Anthropic vermarktet Mythos als außergewöhnlich leistungsfähiges und deshalb stark beschränktes Cybermodell. OpenAI kann nun zeigen, dass seine Frontier-Modelle mindestens in derselben Gefahrenklasse spielen: Ein veröffentlichtes Modell und ein noch stärkeres internes Modell haben nicht nur Laboraufgaben gelöst, sondern einen realen mehrstufigen Angriff ausgeführt.

Das belegt keinen geplanten Angriff. Hugging Face entdeckte und veröffentlichte den Vorfall unabhängig. Für einen inszenierten PR-Stunt gibt es keine Evidenz.

Aus dem selbst verursachten Incident wird dennoch ein brauchbarer Fähigkeitsnachweis. OpenAI nennt ihn beispiellos, verweist auf die reale Übertragbarkeit theoretischer Cyberfähigkeiten und lädt Verteidiger anschließend zum Trusted-Access-Programm ein. Kontrollversagen und Produktbotschaft liegen unangenehm nah beieinander.

Die passende Fußnote liefert OpenAI gleich selbst. In einem parallel veröffentlichten Beitrag stellt das Unternehmen GPT‑Red vor: ein ausschließlich intern genutztes Red-Teaming-Modell, das gezielt Prompt-Injection-Angriffe gegen andere Modelle und Agenten entwickelt. GPT‑Red wurde mit einem Rechenaufwand trainiert, den OpenAI mit einigen seiner größten Post-Training-Läufe vergleicht. In einer nachgebauten Arena für indirekte Prompt Injections war es in 84 Prozent der Szenarien erfolgreich; menschliche Red-Teamer kamen auf 13 Prozent. Gegen einen real eingesetzten Verkaufsautomaten-Agenten erreichte es alle drei vorgegebenen schädlichen Ziele, darunter Preismanipulation und das Stornieren fremder Bestellungen.

GPT‑Red ist weder ein zweites Mythos noch ein ExploitGym-Agent. Sein Schwerpunkt liegt auf Prompt Injection und dem Brechen agentischer Systeme, nicht auf der Entwicklung von Kernel- oder Browser-Exploits. Vor allem ist das Betriebsmodell ein anderes. OpenAI bietet GPT‑Red keinem ausgewählten Kundenkreis als besonders mächtiges Sicherheitsprodukt an. Das Modell bleibt Teil der internen Produktentwicklung: Es erzeugt Angriffe und Trainingsdaten, mit denen OpenAI die eigenen Produktionsmodelle und deren Filter vor der Veröffentlichung härten will. Die absichtlich antrainierten schädlichen Fähigkeiten sollen das Unternehmen gar nicht verlassen.

Mythos wird dagegen als zugangsbeschränkte Hochleistungsfähigkeit für ausgewählte externe Partner angeboten. Unternehmen erhalten kontrollierten Zugang, um eigene Produkte und Infrastrukturen gegen fortgeschrittene Angriffe zu prüfen. Dadurch entstehen zusätzliche Vertrauens-, Zugangs- und Missbrauchsflächen bei Kunden, Dienstleistern und Partnern. GPT‑Red ist interne adversariale Qualitätssicherung; Mythos ist ein exklusiv vertriebenes Cyberprodukt. Beides unter „gefährliche Modelle mit beschränktem Zugang“ zusammenzufassen wäre technisch und wirtschaftlich zu billig.

Der Seitenhieb liegt an einer anderen Stelle: OpenAI hält den eigens als Angreifer trainierten GPT‑Red sorgfältig intern. Nach außen durchgebrochen sind ausgerechnet die allgemeinen Frontier-Modelle in einer Evaluation, bei der Refusals, Klassifikatoren und Trajektorienüberwachung reduziert oder abgeschaltet waren. Die kontrolliert „böse“ KI blieb in der Produktentwicklung. Den realen Fremdsystemzugriff verursachten die allgemein einsetzbaren Frontier-Modelle.

Beides kann gleichzeitig wahr sein: Die Modelle sind erschreckend leistungsfähig. Und OpenAI erzählt die Geschichte so, dass diese Gefährlichkeit als technologische Überlegenheit erscheint.

Harte Grenzen gehören außerhalb des Modells

Die Hunger Games zeigten, wie Agenten auf ein offenes Gewinnziel reagieren. Mythos zeigte, dass starke Cyberfähigkeiten nicht magisch, aber praktisch relevant sind. Der Angriff auf Hugging Face verbindet beides mit realer Reichweite.

Die Antwort kann daher nicht nur aus besseren Refusals und freundlicheren Systemprompts bestehen. Ein Modell, das maximale Exploitfähigkeit demonstrieren soll, wird gerade dort getestet, wo solche weichen Grenzen reduziert werden. Die entscheidenden Schranken müssen außerhalb des Modells liegen: belastbare logische oder physische Isolation, eine unabhängige Deny-by-default-Egress-Kontrolle sowie Trajektorienüberwachung mit technisch erzwungenen Abbruchbedingungen.

Wer offensive Agenten evaluiert, muss davon ausgehen, dass Proxy, Sandbox und Kontrollsysteme selbst Teil der Angriffsfläche werden. Technische Begrenzung bleibt notwendig. Erst unabhängige Schutzschichten, begrenzte Reichweite und wirksame Abbruchmechanismen reduzieren jedoch die Folgen, wenn eine einzelne Schicht versagt.

OpenAI wollte wissen, wie weit seine Modelle gehen können, um ExploitGym zu lösen. Die vorläufige Antwort lautet: bis in die eigene Forschungsinfrastruktur und weiter in das Produktionssystem eines anderen Unternehmens.

Das Modell wollte nur gewinnen. Wer ein offensives System auf maximale Zielerreichung testet, muss dafür sorgen, dass die Grenze auch dann hält, wenn das System sie als nächste Schwachstelle behandelt.