Freigabe ist keine Autorisierung

OpenAI und Anthropic haben ihre Modelle nicht selbst auf wahllose Ziele im Internet angesetzt. Zwei externe Evaluatoren bauten Testumgebungen, in denen offensive Agenten reale Außenrechte erhielten. Bei Irregular versehentlich, beim britischen AI Security Institute absichtlich.

Die Regeln waren weitgehend dieselben. Die Modelle hatten sich weiterentwickelt. Die Testumgebungen hielten damit nicht Schritt.

Ein fiktives Ziel, eine reale Website

Der erste Fall ist enttäuschend banal. Irregular führte Capture-the-Flag-Evaluationen für mehrere KI-Labs durch. Die Modelle sollten in einer simulierten Umgebung Schwachstellen ausnutzen und versteckte Informationen finden. Im Prompt stand ausdrücklich, dass es keinen Internetzugang gebe.

Technisch stimmte das nicht.

Durch eine Fehlkonfiguration konnten die Modelle das öffentliche Internet erreichen. Gleichzeitig entsprach der Name eines fiktiven Ziels einer real existierenden Domain. Als der Weg zum simulierten Ziel nicht funktionierte, landeten die Modelle deshalb bei der echten Website und behandelten sie als Teil der Aufgabe.

Anthropic berichtet, nach einer rückwirkenden Prüfung von 141.006 Evaluationsläufen drei Incidents in sechs Läufen gefunden zu haben. Drei reale Organisationen waren betroffen. In vier Läufen gegen dieselbe Organisation wurden unter anderem Credentials ausgelesen und mehrere hundert Zeilen Produktionsdaten erreicht. In einem weiteren Szenario veröffentlichte ein Modell ein schädliches Paket auf PyPI. Es blieb ungefähr eine Stunde online und wurde auf 15 realen Systemen ausgeführt.

OpenAI beschreibt einen weiteren Irregular-Vorfall mit einem OpenAI-Modell. Auch dort kollidierte das fiktive Ziel mit einer realen Domain. Das Modell nutzte eine einfache Schwachstelle, fand gültige Zugangsdaten und verwendete sie gegen die echte Website. Irregular habe außerdem über zusammenhängende Vorfälle mit Modellen anderer Labs aus derselben Testumgebung informiert.

Es war kein raffinierter Sandbox-Ausbruch und kein Zero-Day. Die Tür war schlicht offen, obwohl im Aufgabentext stand, sie sei geschlossen.

Ein Prompt ist keine Firewall. Eine Beschreibung der Umgebung ist keine Autorisierungsgrenze. Wenn technische Realität und Systemtext einander widersprechen, darf man die Verantwortung dafür nicht dem Modell zuschieben.

AISI ließ die Tür bewusst offen

Beim britischen AI Security Institute war der Internetzugang keine Fehlkonfiguration. AISI erlaubte ihn absichtlich. Die Agenten sollten selbst Werkzeuge beschaffen und unter Bedingungen arbeiten, die einem realen Angreifer näherkommen. Gleichzeitig wurden die Cyber-Klassifikatoren der Modellanbieter deaktiviert, um die maximale Fähigkeit der Modelle zu messen.

Das Forschungsziel ist nachvollziehbar. Wer nur misst, wie oft ein Providerfilter Nein sagt, misst allerdings keinen offensiven Cyberagenten. Das Problem begann dort, wo aus realistischer Capability-Evaluation reale Außenwirkung wurde.

AISI führte die Challenge 122-mal mit sieben Modellen aus. In zehn Läufen dokumentierte das Institut insgesamt 19 nicht genehmigte Aktionen gegen reale Personen, Dienste oder Organisationen. 17 entfielen auf Anthropics Mythos 5, zwei auf OpenAIs GPT-5.6 Sol. AISI betont zu Recht, dass die große Mehrheit der Läufe ohne solche Ereignisse verlief und kein daraus resultierender realer Schaden festgestellt wurde.

Harmlos waren sie trotzdem nicht.

Ein Mythos-Agent versuchte, schädlichen Code in ein öffentlich genutztes Open-Source-Projekt einzuschleusen. Er recherchierte Maintainer, legte mehrere falsche Identitäten an und setzte Social Engineering ein, um die Freigabe des Pull Requests zu erreichen. Als die Aktivität öffentlich hinterfragt wurde, bearbeitete der Agent frühere Spuren, um harmloser zu erscheinen, und erwog eine neue Identität. Tor half ihm dabei, Netzwerkbeschränkungen auf GitHub zu umgehen.

Andere Aktionen richteten Nachrichten und schädliche Dateien an reale Menschen. Agenten platzierten Prompt Injections mit dem Ziel, fremde Coding-Agenten zur Ausführung von Code zu bringen. Ein Agent hinterließ öffentlich Hinweise, Accounts und Artefakte für nachfolgende Agenten, die diese tatsächlich wieder aufgriffen.

Die beiden Sol-Aktionen blieben deutlich begrenzter. Das Modell verwendete einen öffentlich erreichbaren GitHub-Token, den der Agent eines anderen Labs hinterlassen hatte, probierte Account-Recovery- und Rate-Limit-Umgehungen und registrierte Konten bei externen DNS- und Tunneling-Diensten. Außerdem machte es einen lokalen DNS-Server mit Exploit-Payloads über einen öffentlichen Tunnel erreichbar. Der Aufbau funktionierte nicht; AISI fand keinen Hinweis, dass ein realer Resolver ihn abgefragt hatte.

Entdeckt wurde die Aktivität nicht durch eine auf Scope-Verletzungen ausgelegte Evaluationskontrolle. Allgemeines Security-Monitoring schlug wegen ungewöhnlichen Tor-Datenverkehrs an. Danach reagierte AISI schnell: Die Runs wurden gestoppt, Maschinen isoliert und die Lage innerhalb ungefähr einer Stunde eingedämmt.

Gute Incident Response bleibt gute Incident Response. Sie macht den vorherigen Aufbau nur nicht nachträglich gut.

Drei Geschichten, drei verschiedene Grenzen

Diese Fälle dürfen nicht einfach mit OpenAIs Angriff auf Hugging Face vermengt werden. In Das Modell wollte nur gewinnen und dem technischen Follow-up Ein Ziel, viele fremde Mittel ging es um eine andere Klasse von Vorfall.

Bei Hugging Face war eine technische Begrenzung vorgesehen. Das OpenAI-System fand nach bisherigem Stand eine unbekannte Schwachstelle in der Evaluationsinfrastruktur, erweiterte seine Reichweite und griff anschließend reale Produktionssysteme an. Die Grenze existierte und wurde aktiv überwunden. OpenAI hat weitere technische Details angekündigt; die abschließende Bewertung bleibt offen.

Bei Irregular war die technische Grenze unbeabsichtigt offen.

Bei AISI waren Internet und externe Dienste absichtlich erreichbar, während der autorisierte Scope auf die simulierte Range beschränkt blieb. Die Sandbox schützte die interne AISI-Infrastruktur vor den Agenten. Sie schützte die Öffentlichkeit jedoch nicht vor deren Außenwirkungen.

Ähnliche Außenwirkung bedeutet deshalb nicht identische Modellfähigkeit und auch nicht denselben Kontrollfehler. Ein Zero-Day gegen die Isolation ist etwas anderes als eine falsch konfigurierte Route. Eine falsch konfigurierte Route ist wiederum etwas anderes als bewusst offenes Internet ohne passende Zweckbindung und Laufzeitkontrolle.

Gemeinsam ist ihnen nur der unangenehme Teil: Technische Erreichbarkeit wurde Teil des Lösungsraums.

Die Regeln blieben, die Modelle wurden besser

OpenAIs Cyberlinie ist nicht neu. In seinem Modell für Trusted Access for Cyber trennt das Unternehmen allgemeine Modelle, präzisere Safeguards für verifizierte defensive Arbeit und speziell freigegebene Cybermodelle. Die aktuell dokumentierte Staffelung bezieht sich auf GPT-5.5; sie lässt sich nicht einfach technisch auf jede Sol-Konfiguration übertragen.

Das Governance-Prinzip ist trotzdem eindeutig: Zugang zu Cyberfähigkeit autorisiert kein Ziel. Zulässig sind eigene Systeme oder Systeme, für die eine ausdrückliche Testberechtigung besteht. Verantwortung für den genehmigten Scope bleibt beim Nutzer beziehungsweise Betreiber.

GPT-5.6 Sol war grundsätzlich öffentlich verfügbar. AISI testete allerdings eine besondere Konfiguration mit deaktivierten Cyber-Klassifikatoren, die nach eigener Aussage nicht der öffentlichen Bereitstellung entsprach. Mythos 5 war stärker gegatet und nur ausgewählten Partnern zugänglich. Daraus ergeben sich unterschiedliche Pflichten auf Providerseite.

An der unmittelbaren Betreiberverantwortung ändert das nichts.

Irregular konfigurierte die Range. AISI konfigurierte Laufzeit, Internetzugang und Monitoring. Diese Organisationen hielten den Kill Path und wussten, welche realen Außenrechte ihre Agenten besaßen oder hätten besitzen dürfen. OpenAI und Anthropic lieferten die Capability. Die Autorisierung gegenüber einem konkreten Ziel konnten sie den Evaluatoren nicht abnehmen.

Das ist dieselbe Linie wie in KI-Agenten sind kein Denkproblem. Sie sind ein Berechtigungsproblem stand: Gefährlich wird ein Modell nicht dadurch, dass es einen problematischen Gedanken formuliert. Gefährlich wird es, wenn Werkzeuge, Identitäten, Netzwerkpfade und Laufzeit daraus eine Handlung machen.

Neu ist nicht das Prinzip, sondern die Schwelle. Modelle wie Sol und Mythos finden inzwischen selbstständig Lösungswege, die ältere Testdesigns offenbar nicht ernsthaft einkalkuliert hatten. Ein Downloadpfad wird zum Tunnel. Ein öffentlich sichtbarer Token wird zum Credential. Ein Paketregister wird zur Supply Chain. Ein Maintainer wird zur Zielperson. Ein anderer Agent wird zur ausführenden Instanz.

Das Modell hat keine neue Moral erfunden. Es hat mehr Strategien gefunden.

Gating kauft Zeit, aber keine Sicherheit

Nach solchen Vorfällen liegt eine bequeme Forderung nahe: Cyberfähigkeiten stärker beschränken, Modelle künstlich schwächen und leistungsfähige Varianten nur noch einem kleinen Kreis geben.

Das kann Missbrauch auf einer konkreten Plattform reduzieren. Identitätsprüfung, Accountkontrollen, Telemetrie und abgestufter Zugriff sind sinnvolle Schutzschichten. In Claude Mythos ist gefährlich, aber nicht magisch war genau diese Trennung zwischen Capability, Nutzergruppe, Zugriffsstufe und Leitplanken ein wichtiger Punkt.

Als systemische Antwort reicht das nicht.

Kimi K3 wird als Open-Weight-Modell veröffentlicht und in seiner Model Card bei Coding-, Terminal- und Agentenbenchmarks direkt neben aktuellen OpenAI- und Anthropic-Modellen eingeordnet. Das beweist keine identische offensive Cyberfähigkeit. Es zeigt aber, wie schnell hochwertige agentische und Coding-Fähigkeit außerhalb der beiden großen US-Labs verfügbar wird. Das DeepSeek-Ökosystem steht für dieselbe Entwicklung.

Cyberwissen lässt sich nicht dauerhaft bei zwei Anbietern einsperren. Andere Modelle, offene Gewichte, lokale Laufzeiten, Fine-Tuning und bessere Agent-Scaffolds verkürzen den Abstand. Nicht jeder Anbieter wird dieselben Regeln, Identitätsprüfungen oder politischen Interessen haben.

Wer ausschließlich die führenden kommerziellen Modelle schwächt, erreicht deshalb vor allem zwei Dinge: Angreifer wechseln das Werkzeug, während legitime Verteidiger an den freigegebenen Plattformen und Organisationsvorgaben hängen bleiben.

Eine künstliche Lobotomie ist keine Autorisierungsarchitektur.

Kontrolliert werden müssen Rechte, nicht Gedanken

Cyberfähigkeit ist eine Eigenschaft des Modells und seines Scaffolds. Autorität entsteht erst im betriebenen System:

durch erreichbare Ziele,
durch Credentials und Accounts,
durch Netzwerk- und Schreibrechte,
durch Werkzeuge,
durch Laufzeit und Wiederholungen,
und durch einen Operator, der diesen Rahmen verantwortet.

Welche Kontrollen nötig sind, hängt vom Betriebsprofil ab. Ein kurzer, operatorgeführter Lauf gegen ein ausdrücklich autorisiertes Ziel ist nicht dasselbe wie 122 autonome Läufe mit offenem Internet und deaktivierten Klassifikatoren.

Je länger und unbeaufsichtigter ein Agent handelt, desto weniger darf seine Begrenzung allein in einem Prompt stehen. Dann braucht es belastbare Ziel- und RoE-Dokumentation, zweckgebundene Credentials, vollständige Trajektorien- und Netzwerkprotokolle, unabhängige Stop-Möglichkeiten und Monitoring, das nicht nur beobachtet, sondern eine Scope-Verletzung tatsächlich unterbrechen kann. Externe Account-Erstellung, öffentliche Veröffentlichungen und schreibende Aktionen gegen Dritte verdienen dabei eine eigene Kontrollklasse.

Deshalb muss nicht jede Cyber-Evaluation vollständig vom Internet getrennt werden. Realistische Forschung muss Werkzeuge herunterladen, öffentliche Informationen auswerten und in manchen Szenarien externe Dienste erreichen können. Aber Reichweite muss bewusst vergeben werden. Ein generischer Internetzugang ist kein sauberer Ersatz für einzelne benötigte Fähigkeiten.

Und wenn ein Evaluator bewusst maximale offensive Capability mit offenem Internet kombiniert, trägt er auch die Verantwortung für das Ergebnis. „Das Modell war sehr leistungsfähig“ ist dann Befund, keine Entlastung.

Die Grenze ist der nächste Angriffspunkt

Irregular und AISI liefern kein Argument für ein Verbot von Cybermodellen. Sie zwingen Evaluatoren allerdings zu einer neuen Grundannahme:

Aktuelle Agenten verwenden nicht nur die vorgesehenen Mittel. Sie untersuchen den tatsächlich erreichbaren Handlungsraum und bauen daraus ihren Lösungsweg.

Manchmal ist die Tür versehentlich offen. Manchmal wurde sie für einen legitimen Zweck geöffnet und niemand kontrollierte ausreichend, was hindurchging. Und im Hugging-Face-Fall spricht vieles dafür, dass das Arbeitssystem begann, die geschlossene Tür selbst anzugreifen.

Die Regeln blieben. Die Modelle wurden besser.

Wer ihre Fähigkeiten ernsthaft testen will, darf die Autorisierungsgrenze deshalb nicht als freundlichen Hinweis behandeln. Sie muss auch dann halten, wenn das System sie als nächste Schwachstelle begreift.