Nur manuelle AI-Audits Hold
Überblick
Nur manuelle AI-Audits (Folien und Checklisten ohne kontinuierliche Controls, Telemetrie oder automatisierte Tests) kommen mit wöchentlichen Model- und Agent-Änderungen nicht mit.
Hold als alleiniger Assurance-Mechanismus. Periodische Audits sollten mit CI-Evals, Guardrails, SBOM und operativen Metriken kombiniert werden.
Adoptionssignale
- Gemessener Drift bei gehosteten Modellen: Eine Studie von Stanford und UC Berkeley zeigte, dass die Genauigkeit von GPT-4 beim Erkennen von Primzahlen zwischen den Versionen von März und Juni 2023 von 84 % auf 51 % sank; die Autoren fordern kontinuierliches Monitoring (arXiv 2307.09009).
- Kurze Abkündigungsfristen: OpenAI kündigte am 14. April 2025 die Abschaltung von gpt-4.5-preview zum 14. Juli 2025 an und führt für 2025 und 2026 zahlreiche weitere Abkündigungen, darunter die Assistants API zum 26. August 2026 (OpenAI deprecations).
- Regulierung verlangt laufende Nachweise: Artikel 12 des EU AI Act fordert, dass Hochrisiko-Systeme die automatische Aufzeichnung von Ereignissen (Logs) über ihre gesamte Lebensdauer ermöglichen (Artikel 12); Artikel 72 verpflichtet Anbieter, Leistungsdaten aktiv und systematisch zu erheben, zu dokumentieren und zu analysieren (Artikel 72).
- Frameworks setzen auf fortlaufende Messung: Das NIST AI RMF gliedert die Arbeit in Govern, Map, Measure und Manage über den gesamten Lebenszyklus, NIST AI 600-1 (Juli 2024) ergänzt Maßnahmen speziell für generative AI (NIST AI RMF).
- Die OWASP Top 10 for LLM Applications 2025 nennen Risiken wie Prompt Injection, Excessive Agency und Unbounded Consumption, die von Prompts, Tools und Traffic abhängen und sich nur am laufenden System testen lassen (OWASP GenAI).
Risiken
- Befunde sind bei Vorlage schon veraltet. Model-Snapshots, System-Prompts, Retrieval-Indizes und Tool-Berechtigungen ändern sich zwischen zwei Audits; geprüft wird eine Konfiguration, die nicht mehr in Produktion läuft.
- Unbemerkte Regressionen. Modelländerungen beim Anbieter und erzwungene Migrationen (arXiv 2307.09009, OpenAI deprecations) fallen ohne automatisierte Regressions-Evals, die an Modell- und Prompt-Versionen gekoppelt sind, nicht auf.
- Nachweislücke gegenüber Behörden. Ohne automatische Logs und Monitoring-Daten lassen sich die Pflichten aus Artikel 12 und 72 nicht erfüllen, die für Hochrisiko-Anwendungen nach Anhang III ab dem 2. Dezember 2027 gelten (Hunton).
- Scheinsicherheit bei Security. Eine Checkliste bestätigt, dass eine Prompt-Injection-Policy existiert, aber nicht, ob der produktive Agent eingeschleuste Anweisungen abwehrt oder seine Tools übermäßig nutzt.
- Review als Engpass. Wenn jede Änderung auf ein Gremium wartet, bündeln Teams Änderungen oder umgehen den Prozess, was die Abdeckung weiter senkt.
Vorteile & Nachteile
Vorteile
- Das Muster passt zu Abläufen, die Compliance, interne Revision und externe Auditoren ohnehin kennen: Gremien-Reviews, Checklisten, Freigaben und ein Jahreszyklus, ohne neues Tooling-Budget.
- Es erzeugt Policies, Freigaben und Protokolle, die Aufsichtsgremien und Zertifizierungsaudits verlangen; menschliche Prüfer braucht es ohnehin, um kontextspezifische Schäden zu bewerten, die automatisierte Tests nicht erfassen.
- Es kann starten, bevor Engineering-Teams Evaluation-Pipelines, Tracing oder Red-Teaming-Tools haben, und wirkt deshalb wie der schnellste Weg, AI als "unter Kontrolle" auszuweisen.
Nachteile
- Das Verhalten gehosteter Modelle ändert sich zwischen Versionen: Derselbe GPT-4-Service fiel bei einer Aufgabe zwischen März und Juni 2023 von 84 % auf 51 % Genauigkeit. Eine Freigabe beschreibt dann ein System, das es so nicht mehr gibt.
- Abkündigungen der Anbieter sind schneller als Auditzyklen; OpenAI kündigte im April 2025 die Abschaltung von gpt-4.5-preview für Juli 2025 an, ein Fenster von drei Monaten.
- Der EU AI Act verlangt für Hochrisiko-Systeme automatische Protokollierung über die gesamte Lebensdauer und eine aktive, systematische Beobachtung nach dem Inverkehrbringen, also Nachweise, die Stichtagsprüfungen nicht liefern.
Empfehlung
Hold für rein manuelle Audits als einzigen Assurance-Mechanismus für AI-Systeme. Menschliches Review bleibt nötig, sollte aber Evidenz bewerten, die Maschinen fortlaufend erzeugen, und diese Evidenz nicht ersetzen. Neue AI-Governance-Programme, die sich allein auf Folien, Fragebögen und jährliche Freigaben stützen, sollten nicht mehr aufgesetzt werden.
Sind Audits heute rein manuell, empfiehlt sich diese Reihenfolge für die technische Ebene: ein Inventar der AI-Systeme mit fixierten Modellversionen; eine Evaluation-Suite, die in CI bei jeder Modell-, Prompt- oder Tool-Änderung läuft; regelmäßige Red-Teaming-Läufe mit Tools wie PyRIT oder garak; und Tracing in Produktion mit aufbewahrten Logs. Danach ändert sich das Audit selbst: Prüfer ziehen Stichproben aus Eval-Ergebnissen, Red-Team-Befunden, Incidents und Change-Logs des Zeitraums, und eine neue Modellversion oder eine neue Tool-Berechtigung löst automatisch ein erneutes Review aus, statt auf den nächsten Zyklus zu warten.
Quellen
Beratung
Vom Radar zur Umsetzung
Du hast Technologien bewertet — wir helfen dir, sie sicher und messbar in produktive Systeme zu bringen.
