Die dümmste Art, über KI-Sicherheit zu reden, ist leider immer noch die beliebteste: irgendwo im Rechenzentrum erwacht eine finstere Maschinenüberseele und denkt sich aus reiner Genialität neue Verbrechen aus. Klingt gut, verkauft Konferenztickets, erklärt aber fast nichts. Die reale Gefahr ist prosaischer, billiger und deshalb viel gefährlicher.
Nicht die Super-KI ist das Problem. Das Problem ist die Orchestrierung.
Zwei aktuelle Entwicklungen zeigen ziemlich klar, wohin das geht. Erstens: KI-Agenten können über Gig- und Labor-Plattformen physische Arbeit an Menschen auslagern. Zweitens: das offene Web wird zunehmend mit indirekten Prompt-Injection-Fallen präpariert, damit Agenten fremde Anweisungen aus Webseiten als Befehle übernehmen. Einmal steuert die KI Menschen. Einmal steuert fremder Content die KI. Beides ist dieselbe Krankheit: schlechte Trennung, zu viele Rechte, genug Automatisierung.