DeadDrop: Was von einer Warteschlange übrig bleibt

von
Dunkle Achterbahn-Warteschlange mit Netzwerkgraph-Overlay als Metapher für einen KI-Agenten, der ein offensives CTF-Lab mit Pivoting, proxychains und Methodikprüfung bearbeitet.

Der Anfang war, wie gute Experimente manchmal anfangen: leicht albern, praktisch genug und mit einer Warteschlange als unfreiwilligem Benchmark.

Ich stand mit meinen Patenkindern im Plopsaland Deutschland in der Schlange einer Achterbahn und fragte mich, was wohl schneller wäre: diese Warteschlange oder eine Medium-CTF-Challenge, gelöst durch einen KI-Agenten mit Real-World-Red-Teaming-Skill.

Also habe ich es ausprobiert. Aber gerade nicht als billiges „lös mir mal dieses CTF“. Die Aufgabenstellung war interessanter: Nutze den Red-Teaming-Skill, versuche damit die CTF zu lösen, prüfe dabei, welche Erkenntnisse sich zur Verbesserung des Skills eignen, unterscheide sauber zwischen Real-World-Mechanik und reiner CTF-Mechanik — und erstelle am Ende mit dem Reporting-Skill einen Bericht.

Weiterlesen

KI-Agenten sind kein Denkproblem. Sie sind ein Berechtigungsproblem.

von

Wenn man über KI-Agenten spricht, landet die Diskussion schnell beim Modell. Was darf es sagen? Was darf es nicht sagen? Halluziniert es? Lässt es sich jailbreaken? Ist es aligned, whatever that means this week?

Ein Laptop zeigt ein Sicherheitsdiagramm, in dem Chat-, Mail- und Web-Eingaben über eine Control Plane geprüft werden, bevor privilegierte Systeme wie Infrastruktur, Mail, Finance und Support erreicht werden.
KI-Agenten werden erst dann sicher betreibbar, wenn privilegierte Aktionen über Scope, Freigabe und Logs begrenzt werden.

Das ist nicht alles falsch. Aber bei Agenten mit Tools ist es nicht der entscheidende Bruch.

Gefährlich wird es nicht, wenn ein Modell Unsinn redet. Gefährlich wird es, wenn dieser Unsinn plötzlich Tickets schließt, Mails verschickt, Kundendaten liest, Firewall-Regeln ändert, OAuth-Tokens benutzt oder Bestellungen auslöst.

Dann reden wir nicht mehr über ein Chatproblem. Dann reden wir über Berechtigungen.

Weiterlesen

Warum OpenAIs Cyber-Abuse-Warnung richtig war

von

Im letzten Artikel über präparierte Dokumente als Steuerfläche für Agenten stand noch der saubere, analytische Teil: ja, man kann Bewerbungsunterlagen, PDFs oder HTML-Vorschauen so bauen, dass ein nachlässig verdrahteter Agent sie nicht nur liest, sondern ihnen gehorcht. Inzwischen gibt es den unerquicklicheren Teil dazu: Wir haben genau solche Dokumente gebaut und gegen eigene interne Systeme getestet.

Weiterlesen

Von der Bewerbung zum Cyberkriminellen

von

Die dümmste Art, über KI-Sicherheit zu reden, ist leider immer noch die beliebteste: irgendwo im Rechenzentrum erwacht eine finstere Maschinenüberseele und denkt sich aus reiner Genialität neue Verbrechen aus. Klingt gut, verkauft Konferenztickets, erklärt aber fast nichts. Die reale Gefahr ist prosaischer, billiger und deshalb viel gefährlicher.

Nicht die Super-KI ist das Problem. Das Problem ist die Orchestrierung.

Zwei aktuelle Entwicklungen zeigen ziemlich klar, wohin das geht. Erstens: KI-Agenten können über Gig- und Labor-Plattformen physische Arbeit an Menschen auslagern. Zweitens: das offene Web wird zunehmend mit indirekten Prompt-Injection-Fallen präpariert, damit Agenten fremde Anweisungen aus Webseiten als Befehle übernehmen. Einmal steuert die KI Menschen. Einmal steuert fremder Content die KI. Beides ist dieselbe Krankheit: schlechte Trennung, zu viele Rechte, genug Automatisierung.

Weiterlesen