KI-Agenten sind kein Denkproblem. Sie sind ein Berechtigungsproblem.

von

Wenn man über KI-Agenten spricht, landet die Diskussion schnell beim Modell. Was darf es sagen? Was darf es nicht sagen? Halluziniert es? Lässt es sich jailbreaken? Ist es aligned, whatever that means this week?

Ein Laptop zeigt ein Sicherheitsdiagramm, in dem Chat-, Mail- und Web-Eingaben über eine Control Plane geprüft werden, bevor privilegierte Systeme wie Infrastruktur, Mail, Finance und Support erreicht werden.
KI-Agenten werden erst dann sicher betreibbar, wenn privilegierte Aktionen über Scope, Freigabe und Logs begrenzt werden.

Das ist nicht alles falsch. Aber bei Agenten mit Tools ist es nicht der entscheidende Bruch.

Gefährlich wird es nicht, wenn ein Modell Unsinn redet. Gefährlich wird es, wenn dieser Unsinn plötzlich Tickets schließt, Mails verschickt, Kundendaten liest, Firewall-Regeln ändert, OAuth-Tokens benutzt oder Bestellungen auslöst.

Dann reden wir nicht mehr über ein Chatproblem. Dann reden wir über Berechtigungen.

Weiterlesen

Warum OpenAIs Cyber-Abuse-Warnung richtig war

von

Im letzten Artikel über präparierte Dokumente als Steuerfläche für Agenten stand noch der saubere, analytische Teil: ja, man kann Bewerbungsunterlagen, PDFs oder HTML-Vorschauen so bauen, dass ein nachlässig verdrahteter Agent sie nicht nur liest, sondern ihnen gehorcht. Inzwischen gibt es den unerquicklicheren Teil dazu: Wir haben genau solche Dokumente gebaut und gegen eigene interne Systeme getestet.

Weiterlesen

Von der Bewerbung zum Cyberkriminellen

von

Die dümmste Art, über KI-Sicherheit zu reden, ist leider immer noch die beliebteste: irgendwo im Rechenzentrum erwacht eine finstere Maschinenüberseele und denkt sich aus reiner Genialität neue Verbrechen aus. Klingt gut, verkauft Konferenztickets, erklärt aber fast nichts. Die reale Gefahr ist prosaischer, billiger und deshalb viel gefährlicher.

Nicht die Super-KI ist das Problem. Das Problem ist die Orchestrierung.

Zwei aktuelle Entwicklungen zeigen ziemlich klar, wohin das geht. Erstens: KI-Agenten können über Gig- und Labor-Plattformen physische Arbeit an Menschen auslagern. Zweitens: das offene Web wird zunehmend mit indirekten Prompt-Injection-Fallen präpariert, damit Agenten fremde Anweisungen aus Webseiten als Befehle übernehmen. Einmal steuert die KI Menschen. Einmal steuert fremder Content die KI. Beides ist dieselbe Krankheit: schlechte Trennung, zu viele Rechte, genug Automatisierung.

Weiterlesen