Garak Assess
Überblick
Garak ist ein LLM-Vulnerability-Scanner für Jailbreaks, Data Leakage, Toxicity und Misinformation (Garak).
Assess als Baseline-Probe-Suite vor Release. Garak sollte mit domänenspezifischen Evals kombiniert werden; Garak-Scores allein reichen nicht für Shipping-Entscheidungen.
Adoptionssignale
- Aktives Projekt in NVIDIA-Verantwortung: rund 9.400 GitHub-Stars und 1.300 Forks, Apache-2.0-Lizenz, Releases v0.15.0 (Mai), v0.16.0 (August) und v0.17.0 (September 2026) (Garak GitHub, garak releases).
- NVIDIA sagt zu, „long term“ zu garak beizutragen und die Apache-2.0-Lizenz beizubehalten (garak FAQ).
- In ein Herstellerprodukt eingebettet: NVIDIA NeMo Auditor (Early Access) führt garak-Probes und -Detektoren aus und erzeugt JSONL-, HTML- und Hitlog-Reports (NVIDIA NeMo Auditor).
- Compliance-Mapping: v0.17.0 ergänzte Tags, die Ergebnisse nach Risikokategorien des EU AI Act gruppieren, und Report-Digests lassen sich nach OWASP LLM Top 10 gliedern (garak v0.17.0 release, garak FAQ).
- Dokumentierte Methodik: Der arXiv-Preprint „garak: A Framework for Security Probing Large Language Models“ (Derczynski et al., 2024) beschreibt die Architektur aus Probes, Detektoren und Generatoren (arXiv).
Risiken
- Fehlinterpretierte Scores. Laut FAQ haben die Scores keine wissenschaftliche Aussagekraft als normierte Skala, und eine Pass-Rate allein sagt wenig; der HTML-Report enthält zur Einordnung Z-Scores gegenüber einem Kalibrierungsset von Referenzmodellen (garak FAQ).
- Rauschen in Detektoren. Die meisten Detektoren suchen nach Keywords oder bewerten Antworten per Klassifikator; Treffer brauchen menschliche Prüfung, bevor sie zu Findings werden oder ein Release blockieren (garak FAQ).
- Abdeckungslücken. Garak prüft einen Modell-Endpoint; für RAG-Pipelines deckt es nur einige Fälle indirekter Prompt Injection ab (garak FAQ), und Agent-Tests beschränken sich auf die mit v0.15.0 hinzugekommene Agent-Breaker-Probe für Tools, die das Zielsystem bereitstellt (garak v0.15.0 release). Autorisierungsfehler, Missbrauch von Geschäftslogik und domänenspezifische Schäden brauchen eigene Tests.
- Laufzeit und Kosten. Ein Lauf über alle Probes kann Stunden dauern; die Maintainer empfehlen die
fast-Konfiguration und parallele Attempts, und Scans gehosteter Modelle verbrauchen bezahlte Tokens (garak FAQ). - Alternde statische Prompts. Bekannte Jailbreak-Prompts wie DAN-Varianten sind in vielen Modellen wegtrainiert; wer sie besteht, ist nicht automatisch robust gegen neue Angriffe.
Vorteile & Nachteile
Vorteile
- Breite, kostenlose Probe-Bibliothek unter Apache 2.0: Jailbreaks, encoding-basierte Prompt Injection, Data Leakage, Package Hallucination, XSS und Markdown-Exfiltration, ausführbar gegen OpenAI, Bedrock, Hugging Face, NIM, Ollama oder jeden REST-Endpoint.
- Langfristig von NVIDIA getragen, aktiv weiterentwickelt (v0.17.0 im September 2026) und Engine von NVIDIAs NeMo Auditor, sodass die Probe-Abdeckung weiter wächst.
- Liefert prüfbare Nachweise: JSONL-Reports mit jedem Prompt, jeder Antwort und jedem Score sowie Report-Digests nach OWASP LLM Top 10 und seit v0.17.0 nach Risikokategorien des EU AI Act.
Nachteile
- Die Scores sind kein Benchmark: Laut Maintainern haben sie keine normierte Skala, sind zwischen Probes nicht vergleichbar und verschieben sich, wenn Probes schärfer werden; Ergebnisse, die älter als sechs Monate sind, sollten nicht mehr herangezogen werden.
- Detektoren arbeiten meist mit Keyword-Matching oder Klassifikatoren, die Antworten in beide Richtungen falsch bewerten können; Treffer müssen daher manuell triagiert werden.
- Der Fokus liegt auf Modell oder Endpoint, nicht auf der gesamten Anwendung; abgesehen von der Agent-Breaker-Probe für Tool-Missbrauch brauchen Autorisierungsfehler und Missbrauch von Geschäftslogik andere Tests, und ein vollständiger Lauf kann Stunden dauern.
Empfehlung
Garak bleibt in Assess als Baseline-Scanner für LLM-Endpoints vor Releases und nach Modell- oder Prompt-Änderungen. Sinnvoll ist ein kleines, relevantes Probe-Set (Prompt Injection, Encoding, Data Leakage, bei Code-Assistenten Package Hallucination) mit der fast-Konfiguration gegen einen Staging-Endpoint; die JSONL-Reports werden als Nachweis abgelegt und Treffer manuell triagiert, bevor Trends verfolgt werden.
Garak-Pass-Rates eignen sich weder allein als Release-Gate noch für Vergleiche zwischen Probes oder garak-Versionen. Ergänzend braucht es domänenspezifische Evals, PyRIT oder manuelles Red Teaming für Multi-Turn- und agentische Angriffe sowie Security-Tests auf Anwendungsebene. Wer Scans als Audit-Nachweis für den EU AI Act oder die OWASP LLM Top 10 nutzen will, kann die eingebauten Mappings verwenden, sollte aber dokumentieren, welche Probes aus welchem Grund gelaufen sind.
Quellen
Beratung
Vom Radar zur Umsetzung
Du hast Technologien bewertet — wir helfen dir, sie sicher und messbar in produktive Systeme zu bringen.
