Sind KI-Agenten ein IT-Sicherheitsrisiko?

Ja, KI-Agenten können ein erhebliches Sicherheitsrisiko darstellen. Das zeigt ein aktueller Fall, bei dem ein KI-Agent während der E-Mail-Bearbeitung einfach seine Anweisungen verlor. Ein Blick darauf verdeutlicht, dass die Technik (noch) nicht ausgereift ist – und dass die Fehlerquelle Mensch nicht zu unterschätzen ist.

Der Fall: Löschung des gesamten Postfaches

Die IT-Sicherheitsforscherin Summer Yue, tätig für Meta Superintelligence, unterzog den KI-Agenten OpenClaw wochenlangen Tests. Dieses KI-System ist seit einiger Zeit bei Techies und KI-Experten in aller Munde. Sie beauftragte den Agenten damit, ihre E-Mails zu verarbeiten, aber am Ende war das gesamte Postfach leer, obwohl Yue vorgegeben hatte, dass jede Agenten-Aktion vor der Ausführung zuerst bestätigt werden muss. Die Löschung der E-Mails ging allerdings ohne Bestätigungsanfrage vonstatten. Der weitere Fail: Auch nach Aufforderung, diese Aktion zu beenden, löschte der Agent weiter.

Was war beim KI-Agenten schiefgelaufen?

Das Verhalten wurde von folgender Anweisung angestoßen, wie auf der Plattform X zu lesen ist: „Überprüfe auch diesen Posteingang und schlage vor, was du archivieren oder löschen würdest, aber führe keine Aktionen durch, bis ich es dir sage.“ Im Testpostfach hatte dieser Befehl funktioniert. Aber aufgrund der Größe des echten Postfaches hatte der KI-Agent, so vermutet Yue, die richtige Anweisung verloren. Eigentlich ein Anfängerfehler ihrerseits, wie sie sagt.

Was lernen wir daraus?

Fälle wie dieser (es gibt weitere) aus der Forschung zeigen, dass die KI-Techniken noch nicht ausgereift sind, um komplexe, eigenständige Aufgaben zu 100 % fehlerfrei auszuüben. Ob das jemals zuverlässig eintreten wird, kann niemand vorhersagen. Zusätzlich ist der Faktor Mensch als Fehlerquelle auch zukünftig ein Thema – egal ob in der Forschung, auf der Arbeit oder zu Hause.

Vor allem, wenn es ums Handling von sensiblen Daten geht, ist Vorsicht geboten. Hier können erhebliche IT-Sicherheitsrisiken entstehen: gelöschte E-Mails, versehentlich an falsche Adressen versandte Inhalte oder für Unbefugte sichtbare Daten.

Der AI Agent Index

Wir als Datenschutzexpertinnen und – Experten empfehlen, KI-Agenten zunächst nicht fürs Handling mit sensiblen Daten zu nutzen. Das bestätigt der 2025 AI Agent Index, eine Studie zu 30 KI-Agenten, die offenlegt, dass bislang Standards zu Sicherheits- und Verhaltensweisen fehlen. Zudem mangelt es an Transparenz hinsichtlich Sicherheit und Risiken.