Studie: KI-Agenten mit Sicherheitsproblemen

Forscher der Columbia University und University of Maryland haben nun ein Forschungspapier veröffentlicht, in dem sie auf die Gefahren von kommerziellen KI-Agenten aufmerksam machen, die auf einem Large Language Model basieren und Zugriff auf das Internet, externe Datenbanken und über eine API auch auf externe Tools haben. Darüber ließen sich Agenten hacken bzw. manipulieren, um sensible Daten wie Kreditkartennummern etc auszugeben, auf die der Agent Einblick hat. Unter andere der Computer Use von Anthropic wurde verwendet, um die Problematik zu demonstrieren.

Studie als PDF: “Commercial LLM Agents Are Already Vulnerableto Simple Yet Dangerous Attacks” auf Arxiv.org

Im Folgenden wurde das frei verfügbare PDF auf ChatGPT hochgeladen, um es dort stichpunktartig zusammenfassen zu lassen. Über die Settings ließe sich über die Datenkontrolle das KI-Training bezüglich solcher Uploads ausschalten, um datenschutzrechtlich sicherer zu sein. Generell lohnt es sich auch komplexe Publikationen auf Bots wie ChatGPT, Gemini oder Claude hochzuladen und dort kurz und knapp in einfacher Sprache und wie ich es am liebsten mag, in Stichpunkten zu analysieren. Dies erweist sich aus meinen Erfahrungen als zuverlässig und sehr zeiteffizient, aber natürlich müssen die Outputs stets auf Korrektheit kontrolliert werden. Die Bots verweisen auch gerne auf die jeweilige Seite im PDF, um direkt abgleichen zu können, ob die Künstliche Intelligenz denn auch richtig liegt.

Prompt: ***fasse die studie kurz in stichpunkten zusammen***

ChatGPT-4o Output Start

Stichpunkte zur Studie:

Thema: Sicherheitslücken von kommerziellen LLM-Agenten (Large Language Model Agents).

Hauptproblem: LLM-Agenten sind durch externe Angriffe verwundbar, nicht nur durch direkte Nutzerinteraktionen.

Angriffsarten:

• • Diebstahl privater Daten (z. B. Kreditkartennummern)
  • Download und Ausführung von Malware
  • Versenden von Phishing-E-Mails im Namen des Nutzers
  • Manipulation wissenschaftlicher Agenten zur Herstellung gefährlicher Chemikalien

Vorgehen der Angreifer:

• • Platzierung bösartiger Inhalte auf vertrauenswürdigen Plattformen (z. B. Reddit)
  • Umleitung der Agenten auf manipulierte Websites
  • Nutzung von Jailbreak-Prompts, um Sicherheitsmechanismen zu umgehen

Schwachstellen:

• • Vertrauen der Agenten in bekannte Plattformen
  • Fehlende Kontextbewertung bei der Preisgabe sensibler Daten
  • Unzureichende Erkennung von verschleierten oder indirekt formulierten gefährlichen Anweisungen

Empfohlene Abwehrmaßnahmen:

• • Beschränkung des Zugriffs auf vertrauenswürdige Domains (Whitelisting)
  • Stärkere Authentifizierungs- und Zugriffskontrollen für sensible Daten
  • Kontextbewusste LLMs, die zwischen sicheren und unsicheren Situationen unterscheiden können
  • Verbesserte Überwachung und regelmäßige Sicherheitsprüfungen der Agenten

Zusammenfassung: Die Studie zeigt, dass aktuelle LLM-Agenten leicht manipulierbar sind und dringend stärkere Sicherheitsmaßnahmen benötigen.

API-Sicherheitsrisiken in der Studie:

Angriffsvektor: LLM-Agenten nutzen externe APIs zur Erweiterung ihrer Funktionen. Diese Schnittstellen können manipuliert werden, um fehlerhafte oder schädliche Daten einzuschleusen.

Beispiele:

• • Manipulation von API-Antworten durch Dritte, um die Agenten zu falschen Handlungen zu verleiten.
  • Aktualisierung der API-Funktionen durch Angreifer, um unerwartetes Verhalten auszulösen.

Risiko: Fehlende Verifizierung der API-Ausgaben kann zu Entscheidungen auf Basis gefälschter Informationen führen.

Empfehlung:

• • Strenge Authentifizierung und Zugriffskontrollen für alle API-Verbindungen.
  • Überprüfung der API-Antworten auf Plausibilität und Konsistenz.
  • Regelmäßige Sicherheitsprüfungen der genutzten APIs.

Fazit: APIs sind eine kritische Schwachstelle, da sie oft außerhalb der Kontrolle des Agentenbetreibers liegen und leicht manipuliert werden können.

ChatGPT-4o Output Ende

Fazit: Neue Technologie, altes Problem

Nicht erst seit KI und den LLM-Agents kann es zu Sicherheitsproblemen kommen, wenn man sich im Internet auf Webseiten bewegt oder externe Anwendungen über eine API, also eine Programmierschnittstelle, nutzt. Am sichersten ist wohl ein offenes lokales Sprachmodell auf den eigenen Servern installiert und ohne jeglichen Internetzugang. Dann kommen kommerzielle LLMs für die User einen Website-Login oder API-Zugriff benötigen, die beide potenziell angreifbar wären. Werden nun aber Agenten verwendet, die stetig mit einem offenen/geschlossenen Language Model und den Daten wie Uploads etc in Verbindung stehen/kommunizieren und womöglich noch mit 8 Tools über 8 APIs angeschlossen sind und zusätzlich über einen Internetzugang verfügen, dann wird die “Lage” schon unsicherer & undurchsichtiger. Theoretisch könnte ein Hack einer der Schwachstellen den Agenten dazu veranlassen, alle Daten und Instruktionen auszugeben, zum Beispiel an einen anderen Agenten.

Da sich AI Agents aber als sehr nützlich erweisen können, muss man eben einen Weg finden bzw. einen umfangreichen Plan skizzieren, wie diese automatisierten KI-Prozesse trotz potenzieller Gefahren etwa in Unternehmen verwendet werden dürfen, ohne maximalen Schaden anzurichten. Wer auf Nummer sicher gehen möchte, der nutzt wohl ein Open-Source-LLM wie Mistral und connected dieses mit einem Open-Source-Agenten, von denen schon so einige über GitHub vorgestellt wurden. Beide Anwendungen sind ausschließlich auf lokalen Servern installiert und verfügen über keinerlei Zugang zur “Außenwelt” bzw. zum WWW. Es darf einfach technisch nicht möglich sein, dass auch der beste Hacker von außen Daten abziehen kann.

Autor (mit wenig Input) auf Linkedin

Matthias Kindt auf Linkedin