KI-Systeme
KI-Agenten-Sicherheit: Tools, Berechtigungen und die Lieferkette der Modelle
KI-Agenten-Sicherheit heißt, zu begrenzen, was ein Agent tun kann, und zu wissen, woraus er besteht: Geben Sie jedem Agenten nur die Tools und Berechtigungen, die seine Aufgabe braucht, lassen Sie destruktive Aktionen von einer Person freigeben, behandeln Sie jedes Dokument und jedes Tool-Ergebnis als nicht vertrauenswürdige Eingabe, und führen Sie ein Verzeichnis der Modelle, Datensätze und Software, von denen er abhängt.
Free-Tarif, keine Kreditkarte erforderlich.
Was ist eine KI-Stückliste (AI Bill of Materials)?
Eine Software-Stückliste (SBOM) listet die Pakete einer Anwendung auf. Eine KI-Stückliste erweitert diesen Nachweis um die Bestandteile, die für KI spezifisch sind: die Modelle mit ihren Versionen und ihrer Herkunft, die Datensätze, mit denen sie trainiert oder feinabgestimmt wurden, und die Software, die sie bereitstellt. Zwei Branchenformate unterstützen das. CycloneDX hat mit Version 1.5, veröffentlicht im Juni 2023, eine Machine-Learning-Stückliste (ML-BOM) eingeführt, und SPDX 3.0 enthält ein AI-Profil und ein Dataset-Profil.
Unabhängig vom Format sind dieselben Felder nützlich: woher jedes Modell stammt, welche exakte Revision Sie betreiben, ein Hash, der zeigt, dass es sich nicht verändert hat, seine Lizenz und Nutzungsbedingungen, die zugrunde liegenden Datensätze, soweit bekannt, und die Bibliotheken und die Laufzeitumgebung, die es braucht. Mit diesem Nachweis können Sie an dem Tag, an dem sich ein Modell oder eine Bibliothek als kompromittiert herausstellt, beantworten, ob Ihr Produkt betroffen ist. KROMSE erstellt heute keine KI-Stückliste; sie steht auf der Roadmap weiter unten.
Wie Sie die Tools und Berechtigungen eines Agenten zuschneiden
Ein Agent ist ein Modell, das Tools aufrufen kann: Dateien lesen, Datenbanken abfragen, Nachrichten senden, Befehle ausführen. Die OWASP Top 10 for LLM Applications nennen das daraus entstehende Risiko „Excessive Agency“ (übermäßige Handlungsbefugnis) und führen es auf drei Ursachen zurück: übermäßige Funktionalität, übermäßige Berechtigungen und übermäßige Autonomie. Gegen jede gibt es ein direktes Mittel: weniger Tools, enger gefasste Zugangsdaten und eine Person im Ablauf für die Aktionen, auf die es ankommt.
- Geben Sie jedem Agenten nur die Tools, die seine Aufgabe braucht, und lassen Sie Allzweck-Tools wie uneingeschränkten Shell-Zugriff weg.
- Nutzen Sie pro Agent eigene, eng gefasste Zugangsdaten, wo immer möglich nur mit Lesezugriff.
- Führen Sie Aktionen im Kontext und mit den Berechtigungen der Person aus, für die der Agent handelt.
- Lassen Sie destruktive oder unumkehrbare Aktionen von einer Person freigeben: Daten löschen, Nachrichten senden, Zahlungen ausführen, Deployments.
- Protokollieren Sie jeden Tool-Aufruf mit seinen Eingaben, damit Aktionen nachvollzogen und geprüft werden können.
- Begrenzen Sie, wie viele Aktionen ein Agent ausführen kann und wie schnell.
Prompt Injection über Tools und Dokumente
Prompt Injection ist eine Eingabe, die das Verhalten eines Modells auf eine Weise verändert, die seine Entwickler nicht beabsichtigt haben. OWASP unterscheidet direkte Injection, die der Nutzer eintippt, von indirekter Injection, bei der das Modell Anweisungen aus externen Inhalten wie einer Website oder einer Datei übernimmt. Für einen Agenten mit Tools ist die indirekte Injection das größere Risiko: Der Angreifer braucht keinen Zugang zum Agenten, nur dass der Agent etwas liest, das er geschrieben hat, etwa eine Webseite, eine E-Mail oder ein Ticket.
OWASP merkt an, dass unklar ist, ob es narrensichere Präventionsmethoden gibt; die Abwehr heißt daher Eindämmung. Halten Sie nicht vertrauenswürdige Inhalte klar von Anweisungen getrennt, halten Sie Secrets aus dem Kontext des Modells heraus, validieren Sie die Ausgaben des Modells, bevor ein anderes System danach handelt, und stellen Sie sicher, dass eine eingeschleuste Anweisung keine Aktion auslösen kann, die eine Person nicht freigegeben hat. Wenn ein Agent öffentliche Inhalte liest, gehen Sie davon aus, dass ein Teil davon feindselig ist.
Unsichere Modelldateien und die Lieferkette der Modelle
Modellgewichte sind Dateien, und manche Dateiformate können beim Laden Code ausführen. Das Pickle-Format von Python, das die Dokumentation von Hugging Face als Standardformat für PyTorch-Modellgewichte beschreibt, erlaubt die Ausführung beliebigen Codes beim Laden; ein gepickeltes Modell aus einer nicht vertrauenswürdigen Quelle zu öffnen, ist daher vergleichbar damit, ein nicht vertrauenswürdiges Programm auszuführen. Safetensors ist ein Format zum Speichern von Tensoren, das als sichere Alternative zu Pickle entwickelt wurde.
Behandeln Sie Modelle und Datensätze wie Abhängigkeiten. Laden Sie sie aus Quellen herunter, denen Sie vertrauen, legen Sie die exakte Revision fest statt eines veränderlichen Namens, prüfen Sie Hashes und bevorzugen Sie Formate, die keinen Code ausführen können. Manipulierte Trainingsdaten oder ein manipuliertes vortrainiertes Modell können das Verhalten auf eine Weise verändern, die Tests nicht zeigen; die KI-Verordnung der EU (EU AI Act) nennt Datenvergiftung und Modellvergiftung unter den Angriffen, gegen die Maßnahmen für Hochrisiko-KI-Systeme gegebenenfalls gerichtet sein müssen. Die Bibliotheken, die Modelle laden und bereitstellen, brauchen dieselben Schwachstellenprüfungen wie jedes andere Paket.
Welche EU-Regeln betreffen KI-Produkte?
Auf dasselbe KI-Produkt können zwei Verordnungen anwendbar sein. Die KI-Verordnung der EU (EU AI Act), Verordnung (EU) 2024/1689, regelt KI-Systeme nach Risikostufe; ihr Artikel 15 verlangt, dass Hochrisiko-KI-Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen. Die Cyberresilienz-Verordnung (Cyber Resilience Act, CRA), Verordnung (EU) 2024/2847, legt Cybersicherheitsanforderungen für Produkte mit digitalen Elementen fest. Nach Artikel 12 des CRA wird bei einem Produkt in seinem Anwendungsbereich, das ein Hochrisiko-KI-System ist, davon ausgegangen, dass es die Cybersicherheitsanforderungen der KI-Verordnung erfüllt, wenn es die grundlegenden Anforderungen des CRA erfüllt und dies in der EU-Konformitätserklärung nachgewiesen wird.
Ob eine der beiden Verordnungen anwendbar ist, hängt davon ab, was das Produkt ist, wer es in Verkehr bringt und wie es genutzt wird, und das entscheidet nicht KROMSE. Die Grundlagenarbeit ist unter beiden dieselbe: Komponenten kennen, Schwachstellen behandeln, einschränken, was automatisierte Teile des Systems tun können, und die Nachweise aufbewahren.
Heute in KROMSE verfügbar
KROMSE prüft heute die Software rund um Ihr Modell, nicht das Modell selbst.
- Listet die Komponenten der Anwendung auf, die das Modell aufruft oder bereitstellt, und prüft ihre Lockfiles gegen OSV.dev, einschließlich der deklarierten Bibliotheken für maschinelles Lernen und für Agenten.
- Markiert Abhängigkeiten, die in der Datenbank OpenSSF Malicious Packages stehen, als kritisch.
- Findet mit Gitleaks eingecheckte Zugangsdaten wie API-Schlüssel im Code des gescannten Commits; die Werte werden geschwärzt und nie gespeichert.
- Quellcodeanalyse für 11 Sprachen, darunter Python, TypeScript, JavaScript und Go.
- Scannt Container-Images in einer aus dem Internet erreichbaren Registry auf Schwachstellen, Fehlkonfigurationen und Secrets und prüft Terraform-Dateien und Dockerfiles auf Fehlkonfigurationen.
- Exportiert für jeden Scan eine SBOM als CycloneDX JSON und als SPDX JSON. Sie listen Softwarepakete auf, keine Modelle oder Datensätze.
Als Nächstes geplant
Auf der Roadmap, noch nicht verfügbar. Die Termine sind Zielmarken, keine Zusagen; diese Seite wird an dem Tag aktualisiert, an dem eine Funktion live geht.
- Geplant · Q1 2027Sicherheit von KI-Agenten und -Modellen. KROMSE wird eine KI-Stückliste (AI Bill of Materials) erstellen, prüfen, welche Tools und Berechtigungen Ihre Agenten nutzen können, und unsichere Modelldateien erkennen.
- Geplant · Q4 2026 (November)Plug-in für Coding-Agenten. Ein Plug-in für KI-Coding-Agenten wird jedes Paket prüfen, das der Agent vorschlägt, bevor es in den Code gelangt – auch Pakete, die es gar nicht gibt oder die erst vor wenigen Tagen veröffentlicht wurden.
- Geplant · Q1 2027 (Januar)Modul zur KI-Verordnung (EU AI Act). Ein Modul zur KI-Verordnung der EU wird ein Verzeichnis der KI-Systeme, eine Risikoeinstufung und Dokumentation ergänzen, die eine Person vervollständigt.
Häufige Fragen
Was ist KI-Agenten-Sicherheit?
Die Praxis, zu begrenzen, was ein KI-Agent tun kann, und zu wissen, woraus er aufgebaut ist. Konkret heißt das: Tools und Zugangsdaten mit minimalen Rechten, menschliche Freigabe für destruktive Aktionen, Dokumente und Tool-Ergebnisse als nicht vertrauenswürdige Eingaben behandeln, sichere Formate für Modelldateien und ein Verzeichnis der Modelle, Datensätze und Software, von denen der Agent abhängt.
Was ist der Unterschied zwischen einer SBOM und einer KI-Stückliste?
Eine SBOM listet die Softwarekomponenten eines Produkts auf, etwa Pakete und ihre Versionen. Eine KI-Stückliste ergänzt KI-spezifische Bestandteile: Modelle mit ihrer Herkunft und ihren Revisionen, Datensätze und wie sie verwendet wurden. CycloneDX unterstützt das mit seiner ML-BOM, eingeführt in Version 1.5, SPDX mit dem AI- und dem Dataset-Profil von SPDX 3.0.
Sind Pickle-Modelldateien gefährlich?
Sie können es sein. Beim Laden einer Pickle-Datei kann beliebiger Code ausgeführt werden; ein gepickeltes Modell aus einer nicht vertrauenswürdigen Quelle sollte daher wie ein nicht vertrauenswürdiges Programm behandelt werden. Bevorzugen Sie Formate, die so entworfen sind, dass sie keinen Code ausführen, etwa Safetensors, laden Sie Modelle nur aus vertrauenswürdigen Quellen, legen Sie die exakte Revision fest und prüfen Sie ihren Hash.
Wie schütze ich einen KI-Agenten vor Prompt Injection?
Gehen Sie davon aus, dass sie passiert, und dämmen Sie sie ein. Trennen Sie nicht vertrauenswürdige Inhalte von Anweisungen, halten Sie Secrets aus dem Kontext des Modells heraus, geben Sie dem Agenten nur die Tools und Berechtigungen, die er braucht, validieren Sie seine Ausgaben, bevor andere Systeme danach handeln, und lassen Sie folgenreiche Aktionen von einer Person freigeben. OWASP merkt an, dass es narrensichere Prävention möglicherweise nicht gibt.
Scannt KROMSE KI-Modelle oder Agenten?
Nein. KROMSE prüft die Software rund um das Modell: Abhängigkeiten, schädliche Pakete, eingecheckte Secrets, Quellcode, Container-Images und Infrastrukturdateien. Modelldateien untersucht es heute nicht, es erstellt keine KI-Stückliste und prüft keine Berechtigungen von Agenten. Diese Funktionen stehen auf der Roadmap.
Verwandte Leitfäden
Quellen
- CycloneDX: Machine Learning Bill of Materials (ML-BOM)
- CycloneDX: Ankündigung von Version 1.5
- SPDX-3.0.1-Spezifikation: AI-Profil
- OWASP Top 10 for LLM Applications 2025: LLM01 Prompt Injection
- OWASP Top 10 for LLM Applications 2025: LLM06 Excessive Agency
- Dokumentation des Hugging Face Hub: Pickle-Scanning
- Hugging Face: Safetensors-Dokumentation
- Verordnung (EU) 2024/1689 (Verordnung über künstliche Intelligenz)
- Verordnung (EU) 2024/2847 (Cyberresilienz-Verordnung)