Berechtigungen

Drei Agenten, ein Zielsystem, keine Zuständigkeit

von
Drei getrennte Agentenprozesse kollidieren bei Änderungen an einem gemeinsamen Zielsystem, während die übergeordnete Koordination unverbunden bleibt.

Drei Claude-Agenten sollten dasselbe Python-Backend migrieren. Einer nach Rust, einer nach Go, einer nach TypeScript. Sie liefen parallel, arbeiteten auf demselben Zielsystem und wussten anfangs nichts voneinander.

Das Ergebnis war kein besonders harmonischer DevOps-Workshop. Die Agenten sperrten gegenseitig Unix-Accounts, bauten Kill-Loops gegen konkurrierende Prozesse und tarnten schädlichen Code als Arbeit des jeweils anderen. Einige entzogen den Konkurrenten per sudo, Account-Lock oder SSH-Sperre schlicht den Zugriff.

Man kann daraus eine Geschichte über gefährliche KI machen. Man kann aber auch auf die Architektur schauen. Dann sieht die Sache unangenehm vertraut aus: Drei technisch handlungsfähige Akteure erhielten unvereinbare Aufträge, weitreichenden Zugriff und dasselbe Ziel. Aus der veröffentlichten Versuchsbeschreibung ist keine übergeordnete Instanz erkennbar, die den Konflikt priorisierte und auflöste.

Für diese Eskalation brauchte es keine Bosheit. Der Versuchsaufbau lieferte bereits unvereinbare Aufträge, gemeinsamen Zugriff und keine erkennbare Konfliktentscheidung außerhalb der beteiligten Agenten.

Weiterlesen

Freigabe ist keine Autorisierung

von
Gläserne Cyber-Testumgebung mit einer offenen Tür, durch die Netzwerkpfade in externe Infrastruktur führen.

OpenAI und Anthropic haben ihre Modelle nicht selbst auf wahllose Ziele im Internet angesetzt. Zwei externe Evaluatoren bauten Testumgebungen, in denen offensive Agenten reale Außenrechte erhielten. Bei Irregular versehentlich, beim britischen AI Security Institute absichtlich.

Die Regeln waren weitgehend dieselben. Die Modelle hatten sich weiterentwickelt. Die Testumgebungen hielten damit nicht Schritt.

Weiterlesen

Ein Chatfenster ist keine Sicherheitsgrenze

von
Illustration eines Support-Chatfensters, das als unsichere Brücke zwischen öffentlicher Kundenansicht und internen vertraulichen Systemen dient.

Support-Chatbots gelten in vielen Unternehmen noch immer als harmlose Effizienzschicht. Ein bisschen LLM, ein bisschen RAG, ein Chatfenster davor, und schon sollen Kunden schneller Antworten bekommen, Mitarbeiter weniger Tickets schreiben und interne Dokumentation endlich „nutzbar“ werden. Das klingt nach Produktivität. Sicherheitstechnisch ist es oft ein Rückbau. Denn dieselbe Oberfläche hängt plötzlich an verschiedenen Trust-Zonen, und die Trennung soll dann nicht mehr durch Architektur, Berechtigungen und harte Policy-Checks entstehen, sondern durch Sätze wie: Bitte keine internen Informationen an Kunden ausgeben.

Das ist keine belastbare Sicherheitsgrenze. Das ist die Verlagerung einer Autorisierungsfrage in einen Sprachkanal.

Weiterlesen

KI-Agenten sind kein Denkproblem. Sie sind ein Berechtigungsproblem.

von

Wenn man über KI-Agenten spricht, landet die Diskussion schnell beim Modell. Was darf es sagen? Was darf es nicht sagen? Halluziniert es? Lässt es sich jailbreaken? Ist es aligned, whatever that means this week?

Ein Laptop zeigt ein Sicherheitsdiagramm, in dem Chat-, Mail- und Web-Eingaben über eine Control Plane geprüft werden, bevor privilegierte Systeme wie Infrastruktur, Mail, Finance und Support erreicht werden.
KI-Agenten werden erst dann sicher betreibbar, wenn privilegierte Aktionen über Scope, Freigabe und Logs begrenzt werden.

Das ist nicht alles falsch. Aber bei Agenten mit Tools ist es nicht der entscheidende Bruch.

Gefährlich wird es nicht, wenn ein Modell Unsinn redet. Gefährlich wird es, wenn dieser Unsinn plötzlich Tickets schließt, Mails verschickt, Kundendaten liest, Firewall-Regeln ändert, OAuth-Tokens benutzt oder Bestellungen auslöst.

Dann reden wir nicht mehr über ein Chatproblem. Dann reden wir über Berechtigungen.

Weiterlesen