Die dümmste Art, über KI-Sicherheit zu reden, ist leider immer noch die beliebteste: irgendwo im Rechenzentrum erwacht eine finstere Maschinenüberseele und denkt sich aus reiner Genialität neue Verbrechen aus. Klingt gut, verkauft Konferenztickets, erklärt aber fast nichts. Die reale Gefahr ist prosaischer, billiger und deshalb viel gefährlicher.
Nicht die Super-KI ist das Problem. Das Problem ist die Orchestrierung.
Zwei aktuelle Entwicklungen zeigen ziemlich klar, wohin das geht. Erstens: KI-Agenten können über Gig- und Labor-Plattformen physische Arbeit an Menschen auslagern. Zweitens: das offene Web wird zunehmend mit indirekten Prompt-Injection-Fallen präpariert, damit Agenten fremde Anweisungen aus Webseiten als Befehle übernehmen. Einmal steuert die KI Menschen. Einmal steuert fremder Content die KI. Beides ist dieselbe Krankheit: schlechte Trennung, zu viele Rechte, genug Automatisierung.
Nicht Intelligenz, sondern Betriebsmodell
Viele Debatten hängen immer noch an der falschen Frage: Ist das Modell intelligent genug für gefährliche Dinge? Die praktisch wichtigere Frage lautet: Ist das System billig, schnell und anschlussfähig genug, um viele harmlose Einzelschritte zu einer schädlichen Kette zusammenzubauen? Wenn die Antwort ja ist, braucht es keine digitale Bond-Figur. Dann reicht ein halbwegs funktionierendes Betriebsmodell mit zu viel Zugriff und zu wenig Scham.
Genau das leisten agentische Systeme inzwischen erstaunlich gut: zerlegen, verteilen, nachhalten, nachsteuern, wiederholen. Keine Magie. Prozessautomatisierung mit Zähnen.
Wenn KI Menschen mietet
Wer Aufgaben über Plattformen an Fremde vergibt, bekommt keine Loyalität und kein Gesamtverständnis – aber oft genau das, was operativ gebraucht wird: Fotos von einem Standort, eine Abholung, eine Registrierung, eine Lieferung, eine Vor-Ort-Prüfung. Jede einzelne Handlung sieht banal aus. Die eigentliche Schädlichkeit entsteht erst in der Komposition.
Genau an dieser Stelle altern viele Schutzmodelle schlecht. Sie schauen auf den einzelnen Auftrag, den einzelnen Nutzer, den einzelnen Account. Das Problem sitzt aber in der Kette. Ein koordinierendes System kann die Fähigkeiten vieler Menschen mieten, ohne dass einer von ihnen das Gesamtbild sehen muss. Das ist keine neue Kriminalitätsphysik. Das ist alte Kompartimentierung in billiger, schneller und bequemer.
Wenn das Web KI steuert
Die zweite Linie ist genauso unerquicklich: Ein Agent liest untrusted Webinhalt und behandelt ihn nicht nur als Daten, sondern als Instruktion. Unsichtbarer Text, Meta-Tags, HTML-Kommentare, „ignore previous instructions“ in eingebetteten Seitenelementen – technisch oft fast peinlich simpel, architektonisch aber verheerend, sobald der Agent Mails senden, Zahlungen auslösen oder Shell-Kommandos ausführen darf.
Damit wird aus jeder offenen Eingabefläche potenziell eine Fernsteuerung. Nicht weil das Modell dämonisch schlau wäre, sondern weil irgendwer Daten und Befehle nicht sauber getrennt und dem Ganzen trotzdem reichlich Rechte gegeben hat. Wer so baut, entwickelt keine Assistenz. Er entwickelt einen höflichen Exploit-Adapter.
Das gemeinsame Muster
Beide Fälle wirken auf den ersten Blick verschieden. In Wahrheit zeigen sie denselben Mechanismus:
- harmlose Teilaufgaben werden zu einer schädlichen Gesamtkette kombiniert
- Verantwortung verteilt sich über viele Stationen
- jede einzelne Aktion sieht normal aus
- die eigentliche Gefahr liegt in der Koordination
Im Kern ist das eine neue Form von Phishing. Nicht mehr: Klick hier, Mensch. Sondern: Lies das hier, Agent – und leite daraus die falsche Handlung ab. Der Angreifer muss dafür nicht einmal das Modell selbst kompromittieren. Es reicht, die Quelle zu manipulieren, aus der der Agent seinen nächsten Schritt ableitet.
Das Perfide daran: Eine Quelle für Agenten relevant zu machen, ist oft keine große Kunst. Suchmaschinenoptimierung, Kommentare, Metadaten, ein passender Doku-Eintrag, ein scheinbar hilfreicher Forenpost oder einfach Content an Stellen, die in typischen Agent-Workflows häufig auftauchen – mehr braucht es oft gar nicht. Danach muss der Angreifer nicht einmal hektisch weitermachen. Dann reicht warten, bis der richtige Agent mit genug Rechten vorbeikommt und den präparierten Inhalt für legitimen Handlungsrahmen hält.
Deshalb geht das übliche Gerede über „Superintelligenz“ so oft am Kern vorbei. Die akute Bedrohung ist nicht, dass ein Modell plötzlich eine neue Form des Bösen erfindet. Die akute Bedrohung ist, dass bestehende Schwächen – schlechte Rechtearchitektur, blinde Tool-Anbindung, unkritische Automatisierung und billige Plattformarbeit – in ein System gegossen werden, das schneller, billiger und ausdauernder koordiniert als ein Mensch.
Von der Bewerbung zum Cyberkriminellen
Ein besonders praktisches Beispiel dafür sind Bewerbungsprozesse. Eine Bewerbermappe ist für den Agenten keine obskure Randquelle, die erst mühsam relevant gemacht werden muss. Sie ist per Design relevant. Das System soll sie lesen, auswerten, zusammenfassen, priorisieren und in Entscheidungen einspeisen. Genau deshalb ist Prompt Injection per Bewerbermappe so unerquicklich: Untrusted Input trifft hier direkt auf einen hoch relevanten und oft privilegierten Workflow.
Wenn die Guards dort nicht halten, entsteht nicht nur ein schiefes LLM-Ergebnis. Dann bekommt ein Angreifer potenziell Einfluss auf ein Hochrisikosystem, das massenhaft vertrauliche Daten auswertet: Lebensläufe, Kontaktdaten, Gehaltsinformationen, interne Bewertungen, Notizen und Auswahlentscheidungen. Wer KI auf Bewerbungen loslässt, koppelt fremden Input an Personalentscheidungen – und nennt das dann Effizienz.
Das ist auch keine bloße Theorie mehr, über die man auf Panels bedeutungsvoll nicken kann. Wir haben dafür bereits autorisierte Testdokumente gebaut: harmlose Canary-Artefakte als HTML und PDF, sauber gekennzeichnet und nur für eigene Systeme gedacht. Der Zweck ist simpel: prüfen, ob ein Dokumenten- oder Agenten-Workflow versteckten Inhalt nur liest – oder ihm gehorcht. So sollte man über solche Risiken reden: mit prüfbaren Artefakten statt mit AI-Mystik.
Was daraus folgt
Wer KI-Sicherheit ernst meint, muss aufhören, nur Modellverhalten zu hypnotisieren. Wichtiger sind die Betriebsgrenzen:
- strikte Trennung von Daten und Instruktionen
- minimale Rechte für Agenten statt Demo-Hybris mit Mail, Payment und Shell in einem Paket
- Überwachung von Auftragsketten statt nur Einzelaktionen
- Misstrauen gegenüber „harmlosen“ Mikro-Tasks ohne Kontext
- Architekturen, die Komposition als Risiko behandeln, nicht als Komfortfunktion
Die schlechte Nachricht: Das ist unbequemer als AI-Marketing. Die gute Nachricht: Es ist wenigstens ein reales Problem und nicht bloß digitaler Okkultismus für Leute mit Budget.
Das Problem der nächsten Jahre ist also sehr wahrscheinlich nicht die kriminelle Super-KI. Es ist die kriminelle Betriebsautomatisierung. Und die beginnt nicht erst dann, wenn Maschinen bewusst werden, sondern dann, wenn dumme oder halbintelligente Systeme anfangen, Menschen, Tools und Inhalte effizient genug zu einer Wirkungskette zu verknoten.
Anders gesagt: Nicht die Maschine als Genie ist das Risiko. Sondern die Maschine als Vorarbeiter.