Wenn man über KI-Agenten spricht, landet die Diskussion schnell beim Modell. Was darf es sagen? Was darf es nicht sagen? Halluziniert es? Lässt es sich jailbreaken? Ist es aligned, whatever that means this week?
Das ist nicht alles falsch. Aber bei Agenten mit Tools ist es nicht der entscheidende Bruch.
Gefährlich wird es nicht, wenn ein Modell Unsinn redet. Gefährlich wird es, wenn dieser Unsinn plötzlich Tickets schließt, Mails verschickt, Kundendaten liest, Firewall-Regeln ändert, OAuth-Tokens benutzt oder Bestellungen auslöst.
Dann reden wir nicht mehr über ein Chatproblem. Dann reden wir über Berechtigungen.