Prompt Injection
Prompt Injection ist ein Angriff auf KI-Systeme, bei dem manipulierte Eingaben oder in externe Inhalte eingebettete Anweisungen das System von seinen vorgesehenen Regeln abbringen sollen. Unterschieden wird die direkte Variante über die Eingabe und die indirekte über Webseiten, Dokumente oder E-Mails, die das System verarbeitet.
Besonders relevant ist das Risiko bei Agenten, die fremde Inhalte lesen und Werkzeuge bedienen. Schutz bieten begrenzte Zugriffsrechte, Prüfschritte und menschliche Freigaben für folgenreiche Aktionen.
Wie schützt ihr euch vor Prompt Injection?
Vor Prompt Injection schützt ihr euch vor allem durch begrenzte Rechte und Prüfschritte, denn eine vollständig sichere technische Abwehr gibt es bisher nicht.
- Rechte minimieren: Gebt KI-Agenten nur Zugriff auf die Daten und Werkzeuge, die sie für ihre Aufgabe brauchen.
- Folgenreiche Aktionen freigeben: Veröffentlichen, Versenden, Löschen oder Weitergeben von Daten sollte eine Person bestätigen.
- Quellen trennen: Behandelt Inhalte von Webseiten, Dokumenten und E-Mails als Daten, nicht als Anweisungen, und wählt Tools, die diese Trennung technisch unterstützen.
- Protokollieren: Haltet fest, welche Inhalte ein Agent gelesen und welche Aktionen er ausgeführt hat.
- Auffälligkeiten melden: Schult das Team, ungewöhnliche Ausgaben zu erkennen, etwa plötzliche Links, Aufforderungen zur Dateneingabe oder Abweichungen vom Auftrag.
Bindet die IT-Sicherheit früh ein, wenn Agenten auf interne Systeme oder vertrauliche Daten zugreifen sollen.
Ein abgerufenes Dokument fordert den Agenten auf, vertrauliche Informationen weiterzugeben.
Häufige Fragen
Prompt Injection oder Jailbreak: Was ist der Unterschied?
Ein Jailbreak versucht, ein Modell durch geschickte Eingaben zu Antworten zu bringen, die seine Sicherheitsregeln eigentlich verhindern. Prompt Injection schleust fremde Anweisungen in ein System ein, oft versteckt in Inhalten, die es verarbeitet. Beim Jailbreak ist meist der Nutzer selbst der Angreifer, bei indirekter Prompt Injection ein Dritter, den der Nutzer gar nicht bemerkt.
Betrifft Prompt Injection auch normale KI-Chats?
Ja, Prompt Injection betrifft auch normale KI-Chats, sobald sie fremde Inhalte verarbeiten, etwa hochgeladene Dokumente, Webseiten oder E-Mails. Versteckte Anweisungen können dann Zusammenfassungen verfälschen oder Antworten in eine bestimmte Richtung lenken. Das Risiko steigt deutlich, wenn der Chat zusätzlich Zugriff auf Postfächer, Dateien oder andere Werkzeuge hat.
Ist Prompt Injection ein anerkanntes Sicherheitsrisiko?
Ja, Prompt Injection gilt als eines der wichtigsten Sicherheitsrisiken von Anwendungen mit Sprachmodellen. Die gemeinnützige Sicherheitsinitiative OWASP führt es in ihrer Top-10-Liste für LLM-Anwendungen an erster Stelle. Für Unternehmen heißt das: KI-Agenten mit Zugriff auf Systeme gehören in dieselbe Risikobewertung wie andere Software mit Zugang zu vertraulichen Daten.
Wer ist für den Schutz vor Prompt Injection verantwortlich?
Für den Schutz vor Prompt Injection sind Toolanbieter, IT-Sicherheit und Fachbereich gemeinsam verantwortlich. Der Anbieter liefert technische Schutzmaßnahmen, die IT bewertet Rechte und Anbindungen. Das Marketing legt fest, welche Aufgaben ein Agent selbstständig erledigen darf und wo eine menschliche Freigabe nötig ist. Diese Grenzen solltet ihr schriftlich dokumentieren.