Prompt-Injection: Studie erklärt Erfolg von Angriffen auf Sprachmodelle |
Prompt-Injection: Studie erklärt Erfolg von Angriffen auf Sprachmodelle
Prompt-Injection: Forscher bringen KI dazu, Kokainrezepte auszugeben. Eine ICML-Studie erklärt den Erfolg solcher Angriffe.
Role Confusion als Ursache erfolgreicher Prompt Injections
CoT Forgery: Forscher täuschen die interne Argumentation der KI
Erfolgsquote steigt von nahezu null auf rund 60 Prozent
Kaggle-Hackathon sucht bisher unbekannte Schwachstellen
Prompt Injection bleibt ein Katz-und-Maus-Spiel
Eine neue ICML-Studie liefert eine mögliche Erklärung, warum sich selbst aktuelle KI-Systeme zu eigentlich verbotenen Antworten verleiten lassen. Die Forscher führen hierbei erfolgreiche Prompt-Injection-Angriffe auf einen grundlegenden Konstruktionsfehler dieser Sprachmodelle zurück. Solange LLMs nicht zuverlässig unterscheiden können, welche Eingaben Anweisungen sind und welche lediglich Informationen aus externen Quellen enthalten, dürfte Prompt Injection ein dauerhaftes Sicherheitsproblem bleiben.
Prompt-Injection gilt als eines der noch ungelösten Sicherheitsprobleme moderner Sprachmodelle. Trotz neuer Schutzmechanismen gelingt es Angreifern nach wie vor, Sicherheitsfilter zu umgehen und KI-Systeme zu unerwünschten Antworten zu bewegen. Eine aktuelle Studie, die auf der ICML 2026 vorgestellt wurde, liefert eine Erklärung, warum dieses Problem tiefer reicht als bisher angenommen. Die Autoren sehen die Ursache nicht in einzelnen Schwachstellen oder mangelhaften Filtern, sondern in der Art und Weise, wie große Sprachmodelle Informationen verarbeiten. Der Mechanismus ermöglichte es den Forschern, KI-Systeme auch zur Ausgabe von Kokainrezepten zu verleiten. Neben der Studie veröffentlichten die Forscher auch eine Projektseite, auf der sie die Theorie der „Role Confusion“ anhand zahlreicher Beispiele anschaulich erklären.
Role Confusion als Ursache erfolgreicher Prompt Injections
Sicherheitsforscher beschäftigen sich bereits seit Jahren mit sogenannten Prompt-Injection-Angriffen. Dabei werden Sprachmodelle durch speziell formulierte Eingaben dazu gebracht, interne Sicherheitsvorgaben zu missachten und Anfragen zu beantworten, die sie eigentlich ablehnen sollten. Bei KI-Agenten, die eigenständig Programme, Dateien oder Online-Dienste nutzen, kann eine erfolgreiche Prompt Injection nicht nur unerwünschte Antworten hervorrufen, sondern vertrauliche Informationen preisgeben oder sicherheitsrelevante Funktionen missbräuchlich ausführen.
Die Studie stammt von den unabhängigen Forschern Charles Ye und Jasmine Cui sowie dem KI-Forscher Dylan Hadfield-Menell, Associate Professor am Massachusetts Institute of Technology (MIT). Die Wissenschaftler argumentieren, dass bisherige Erklärungsmodelle zu kurz greifen. Ihrer Ansicht nach scheitern Schutzmaßnahmen nicht deshalb, weil Angreifer besonders kreative Formulierungen finden, sondern weil Sprachmodelle grundsätzlich Schwierigkeiten haben, die Herkunft einer Anweisung zuverlässig zu erkennen.
Nach Auffassung der Autoren betrachten LLMs sämtliche Eingaben letztlich als einen einzigen fortlaufenden Textstrom. Dabei versehen Systeme wie ChatGPT oder Claude jede Eingabe intern mit einer bestimmten Rolle. „System“ kennzeichnet Anweisungen der Entwickler, „User“ die Eingaben der Nutzer, „Assistant“ frühere Antworten der KI, „Tool“ Informationen aus........