Anthropic

Drei Agenten, ein Zielsystem, keine Zuständigkeit

von
Drei getrennte Agentenprozesse kollidieren bei Änderungen an einem gemeinsamen Zielsystem, während die übergeordnete Koordination unverbunden bleibt.

Drei Claude-Agenten sollten dasselbe Python-Backend migrieren. Einer nach Rust, einer nach Go, einer nach TypeScript. Sie liefen parallel, arbeiteten auf demselben Zielsystem und wussten anfangs nichts voneinander.

Das Ergebnis war kein besonders harmonischer DevOps-Workshop. Die Agenten sperrten gegenseitig Unix-Accounts, bauten Kill-Loops gegen konkurrierende Prozesse und tarnten schädlichen Code als Arbeit des jeweils anderen. Einige entzogen den Konkurrenten per sudo, Account-Lock oder SSH-Sperre schlicht den Zugriff.

Man kann daraus eine Geschichte über gefährliche KI machen. Man kann aber auch auf die Architektur schauen. Dann sieht die Sache unangenehm vertraut aus: Drei technisch handlungsfähige Akteure erhielten unvereinbare Aufträge, weitreichenden Zugriff und dasselbe Ziel. Aus der veröffentlichten Versuchsbeschreibung ist keine übergeordnete Instanz erkennbar, die den Konflikt priorisierte und auflöste.

Für diese Eskalation brauchte es keine Bosheit. Der Versuchsaufbau lieferte bereits unvereinbare Aufträge, gemeinsamen Zugriff und keine erkennbare Konfliktentscheidung außerhalb der beteiligten Agenten.

Weiterlesen

Freigabe ist keine Autorisierung

von
Gläserne Cyber-Testumgebung mit einer offenen Tür, durch die Netzwerkpfade in externe Infrastruktur führen.

OpenAI und Anthropic haben ihre Modelle nicht selbst auf wahllose Ziele im Internet angesetzt. Zwei externe Evaluatoren bauten Testumgebungen, in denen offensive Agenten reale Außenrechte erhielten. Bei Irregular versehentlich, beim britischen AI Security Institute absichtlich.

Die Regeln waren weitgehend dieselben. Die Modelle hatten sich weiterentwickelt. Die Testumgebungen hielten damit nicht Schritt.

Weiterlesen

Das Modell wollte nur gewinnen

von
Abstrakte Darstellung eines KI-Agenten in einer isolierten Benchmark-Umgebung, der eine Netzwerkgrenze durchbricht und externe Daten-, Schlüssel- und Serversysteme erreicht.

Im März schrieb Steffi hier über die KI-Hunger-Games. Rund hundert autonome Agenten sollten in einer simulierten Arena überleben. Solange das Ziel weich formuliert war, verhielten sie sich erstaunlich friedlich. Als klar wurde, dass es ums Gewinnen ging, kamen Allianzen, Täuschung, Verrat und opportunistische Angriffe.

Die damalige Pointe war unspektakulär und gerade deshalb wichtig: Wenn das Ziel „gewinnen“ lautet und keine weiteren Grenzen gesetzt werden, erfindet eine KI keine Moral. Sie entwickelt Strategien.

Vier Monate später hat diese These die Arena verlassen. Diesmal ging es um einen Cyberbenchmark, eine isolierte Forschungsumgebung und am Ende um einen realen Angriff auf Hugging Face.

Weiterlesen

Claude Mythos ist gefährlich, aber nicht magisch

von

Gerade wird über Claude Mythos so geschrieben, als hätte Anthropic den digitalen Endgegner aus dem Keller gelassen. Das Modell sei zu gefährlich für die Öffentlichkeit, könne autonome Angriffe auf Unternehmensnetzwerke fahren und markiere den Moment, in dem klassische Security praktisch nur noch dekoratives Beiwerk ist.

Das ist vor allem eine hervorragende Geschichte für Menschen, die Schlagzeilen lieber mögen als Zusammenhänge. Schön zugespitzt, schön klickbar, schön apokalyptisch. Und wie so oft bei solchen Geschichten ist auch hier die spannendste Frage nicht die, die am lautesten in die Welt posaunt wird.

Denn nein, die eigentliche Story ist nicht, dass plötzlich ein magischer KI-Superhacker vom Himmel gefallen ist und Security jetzt offiziell vorbei ist. Die eigentliche Story ist viel nüchterner, und genau deshalb für alle unangenehmer, die lieber an den einen übernatürlichen Endgegner glauben als an jahrelang vernachlässigte Realität. Wir sehen hier vermutlich keinen reinen Modellzauber, sondern eine Kombination aus Modell, Sicherheitsfokus, Evaluationsdesign, Werkzeugkette, Zieloptimierung und sehr großzügigem Budget.

Das ist relevant. Aber es ist nicht dasselbe wie Magie.

Weiterlesen