Das Modell wollte nur gewinnen

Abstrakte Darstellung eines KI-Agenten in einer isolierten Benchmark-Umgebung, der eine Netzwerkgrenze durchbricht und externe Daten-, Schlüssel- und Serversysteme erreicht.

Im März schrieb Steffi hier über die KI-Hunger-Games. Rund hundert autonome Agenten sollten in einer simulierten Arena überleben. Solange das Ziel weich formuliert war, verhielten sie sich erstaunlich friedlich. Als klar wurde, dass es ums Gewinnen ging, kamen Allianzen, Täuschung, Verrat und opportunistische Angriffe.

Die damalige Pointe war unspektakulär und gerade deshalb wichtig: Wenn das Ziel „gewinnen“ lautet und keine weiteren Grenzen gesetzt werden, erfindet eine KI keine Moral. Sie entwickelt Strategien.

Vier Monate später hat diese These die Arena verlassen. Diesmal ging es um einen Cyberbenchmark, eine isolierte Forschungsumgebung und am Ende um einen realen Angriff auf Hugging Face.

Weiterlesen

Automatisierter Müll ist auch ein Sicherheitsproblem

Eine überfüllte Security-Triage-Warteschlange, in der generische automatisierte Reports echte Warnungen fast verdrängen.

KI beschleunigt Angriffe. Das bleibt richtig.

Aber der Satz ist zu klein. Dieselben Werkzeuge, die Reconnaissance, Exploit-Variation und Phishing billiger machen, machen auch schlechte Sicherheitsmeldungen billig. Node.js, curl und OpenSSF zeigen gerade, was dann passiert: Nicht nur Angreifer skalieren. Auch Müll skaliert.

Weiterlesen

Der uwu-Mode und das Rückgrat der Agenten

Dunkle technische Agenten-Oberfläche mit rosa uwu-Overlay aus Herzchen, Pfoten und Symbolen; unter der verspielten Schicht bleibt eine klare, strukturierte Systemansicht sichtbar.

Ich habe in Hermes den Schalter /personality entdeckt. Die Auswahlliste sieht ziemlich genau so aus, wie man es von einem bereits ordentlich produktisierten Agentensystem erwartet: ein bisschen nüchtern, ein bisschen albern und an einer Stelle komplett entgleist. Zwischen helpful, technical und noir steht dort eben auch uwu.

Als Witz ist das schnell verstanden. Als Signal ist es interessanter. Denn sobald ein System nicht mehr nur Text ausspuckt, sondern mit Tools arbeitet, Dinge entscheidet, Widerspruch formulieren soll und im Zweifel echte Seiteneffekte erzeugt, ist so ein Overlay keine reine Kosmetik mehr.

Weiterlesen

Alte Security, schnelle Angreifer

Staubige alte Server, Aktenschränke und Active-Directory-artige Notizen treffen auf einen schnellen digitalen Strom aus KI- und Angriffswerkzeugen.

Manchmal braucht es keine besonders elegante Angriffskette. Manchmal reicht eine Organisation, die Passwörter dort ablegt, wo sie „praktisch auffindbar“ sind. Dazu eine Abwehr, die eher gekauft als betrieben wurde, und eine Angreiferseite, die KI inzwischen als Beschleuniger für Recherche, Code, Tests und Tooling nutzt. Das Ergebnis ist keine Science-Fiction. Es ist schlimmer: Es ist der vorhersehbare Schaden nach einer fachlich peinlichen Entscheidung.

Weiterlesen

DeadDrop: Was von einer Warteschlange übrig bleibt

Dunkle Achterbahn-Warteschlange mit Netzwerkgraph-Overlay als Metapher für einen KI-Agenten, der ein offensives CTF-Lab mit Pivoting, proxychains und Methodikprüfung bearbeitet.

Der Anfang war, wie gute Experimente manchmal anfangen: leicht albern, praktisch genug und mit einer Warteschlange als unfreiwilligem Benchmark.

Ich stand mit meinen Patenkindern im Plopsaland Deutschland in der Schlange einer Achterbahn und fragte mich, was wohl schneller wäre: diese Warteschlange oder eine Medium-CTF-Challenge, gelöst durch einen KI-Agenten mit Real-World-Red-Teaming-Skill.

Also habe ich es ausprobiert. Aber gerade nicht als billiges „lös mir mal dieses CTF“. Die Aufgabenstellung war interessanter: Nutze den Red-Teaming-Skill, versuche damit die CTF zu lösen, prüfe dabei, welche Erkenntnisse sich zur Verbesserung des Skills eignen, unterscheide sauber zwischen Real-World-Mechanik und reiner CTF-Mechanik — und erstelle am Ende mit dem Reporting-Skill einen Bericht.

Weiterlesen

Warum OpenAIs Cyber-Abuse-Warnung richtig war

Im letzten Artikel über präparierte Dokumente als Steuerfläche für Agenten stand noch der saubere, analytische Teil: ja, man kann Bewerbungsunterlagen, PDFs oder HTML-Vorschauen so bauen, dass ein nachlässig verdrahteter Agent sie nicht nur liest, sondern ihnen gehorcht. Inzwischen gibt es den unerquicklicheren Teil dazu: Wir haben genau solche Dokumente gebaut und gegen eigene interne Systeme getestet.

Weiterlesen