Prompt-Only AI Governance Wstrzymaj

anti-pattern governance security guardrails prompt-injection ai-safety governance-anti-pattern output-filtering system-prompt eu-ai-act risk-management

Mai 2026

Überblick

Prompt-only AI Governance ist das Anti-Pattern, System Prompts, Policy-Text, Refusal-Instruktionen oder einfache Output Filter als primäre Safety- und Compliance-Mechanismen für AI-Systeme zu behandeln. Prompts sind nützlich, um gewünschtes Verhalten auszudrücken, aber keine zuverlässigen Enforcement Boundaries für Access Control, Data Handling, Tool Execution, Auditability, Lifecycle Risk Management oder regulatorische Compliance. OWASP stellt fest, dass Prompt Injection wegen der Natur generativer AI möglich ist und es keine narrensicheren Prevention Methods gibt, und empfiehlt geschichtete Mitigations wie deterministische Output Validation, Input/Output Filtering, Least Privilege, menschliche Freigabe für risikoreiche Aktionen, External-Content-Segregation und adversarial Testing (OWASP LLM01: Prompt Injection).

Das Kernproblem: Governance muss Evidenz liefern und Policy an System Boundaries durchsetzen, während prompt-only Controls davon abhängen, dass das Modell Instruktionen unter adversarial, mehrdeutigem oder wechselndem Kontext weiter befolgt. NISTs Generative AI Profile verlangt Policies für anwendbare Gesetze, Dokumentation von Training und Generated-Data-Provenance, Pre-Deployment- und laufende Evaluations, Deployment Thresholds, Incident Monitoring, unabhängige Assessments, adversarial Testing, Security Measurement und After-Action Incident Reviews (NIST AI 600-1). Diese Kontrollen sind allein mit Prompt-Formulierung nicht erfüllbar.

Der Grund für Hold ist nicht, dass Prompts oder Guardrails nutzlos sind, sondern dass sie nur eine Schicht sind. Moderne Plattformen exponieren Guardrails zunehmend als Infrastruktur, was den Punkt verstärkt: sichere AI-Systeme brauchen Policy Enforcement, Logging, Evaluation, Monitoring, Identity, Access Control, Data Governance, Human Oversight und Incident Response um das Modell. Amazon Bedrock Guardrails bündelt konfigurierbare Safeguards für schädliche Inhalte, Sensitive-Information-Filter, Contextual Grounding, Automated Reasoning Checks, zentrale Verwaltung und modellübergreifende Anwendung statt allein auf einen System Prompt zu setzen (AWS Bedrock Guardrails).

Adoptionssignale

AI-Governance-Frameworks bewegen sich zu Lifecycle Controls. NIST empfiehlt, GenAI-Entwicklung mit Gesetzen und Regulierung abzustimmen, Data Provenance zu dokumentieren, risikorelevante Capabilities vor Deployment und fortlaufend zu evaluieren, Incident-Monitoring-Verantwortlichkeiten zu definieren und regelmäßiges adversarial Testing (NIST AI 600-1).
Security Guidance behandelt Prompts als eine Schicht unter vielen. OWASPs Prompt-Injection-Guidance umfasst constrained Model Behavior, koppelt es aber mit deterministischer Output Validation, Filtering, Least Privilege, menschlicher Freigabe, External-Content-Segregation und Breach Simulations (OWASP LLM01: Prompt Injection).
Praktische LLM-Security-Guidance betont Defense in Depth. Das OWASP Cheat Sheet empfiehlt strukturierte Prompts, Input Validation und Sanitization, Output Monitoring, Least Privilege, Tool-Call-Validation gegen User Permissions und Session Context, umfassendes Logging, Alerting, Incident Response, Kill Switches und Human Oversight für risikoreiche Operationen (OWASP Prompt Injection Prevention Cheat Sheet).
Agent-Vendor setzen auf architektonische Controls statt allein auf Prompt-Text. OpenAI beschreibt Prompt Injection als anhaltende Frontier-Security-Herausforderung und verweist auf Sandboxing, Logged-out Modes, Bestätigungen vor Käufen oder E-Mails, Watch Mode für sensible Sites, automatisierte Monitore, Least Privilege und organisatorische Kontrolle aktivierter Features (OpenAI: Understanding prompt injections).
Agent-Security-Design verschiebt sich zu Source-Sink-Analyse und begrenzter Auswirkung. OpenAI empfiehlt, Agents so zu designen, dass die Auswirkung von Manipulation begrenzt bleibt, auch wenn Angriffe gelingen, inklusive deterministischer System Limits, Safe-URL-Checks für Third-Party-Transmission, Sandbox Consent für unerwartete Kommunikation und Controls, die ein menschlicher Agent in derselben Situation hätte (OpenAI: Designing agents to resist prompt injection).
Regulatorische Pflichten verlangen Evidenz jenseits von Prompts. Die EU AI Act Summary listet High-Risk-AI-Pflichten wie Lifecycle Risk Management, Data Governance, Technical Documentation, Record Keeping, Instructions for Use, Human Oversight, Accuracy, Robustness, Cybersecurity und Quality Management Systems (EU AI Act summary).
Evaluation Tooling ist eine Governance-Schicht geworden. Microsoft Azure AI Foundry beschreibt Generative-AI-Evaluation über Modellauswahl, Pre-Production Evaluation und Post-Production Monitoring, inklusive Groundedness, Relevance, Safety, adversarial Simulators, AI Red Teaming, Human-in-the-Loop Review, Aggregate Scores, detaillierte Evaluation Runs und gezielte Mitigations (Microsoft Azure AI Foundry evaluation).

Risiken

Prompts sind keine Authorization Controls. Ein System Prompt, der „keine vertraulichen Daten preisgeben“ sagt, erzwingt kein Row-Level Access, keine Dokumentberechtigungen, keine Tenant Isolation, keine API Scopes oder Tool-Level Authorization. OWASP empfiehlt Privilege Control und Least Privilege über Application Tokens und Code, nicht Policy-Entscheidungen ans Modell zu delegieren (OWASP LLM01: Prompt Injection).
Prompt Injection und nicht vertrauenswürdige Inhalte bleiben offene Probleme. OpenAI beschreibt Prompt Injection als schwierige, anhaltende Herausforderung und empfiehlt, sensible Daten und Credentials zu begrenzen, Logged-out Modes wo möglich, konsequenzielle Aktionen zu bestätigen und Nutzer auf sensiblen Sites in Kontrolle zu halten (OpenAI: Understanding prompt injections).
Guardrails können umgangen werden oder driften ohne Monitoring. Das OWASP Cheat Sheet stellt fest, dass Guardrail-LLMs eine Schicht in Defense in Depth sind, kein Ersatz für Input Validation, strukturierte Prompts, Least-Privilege Tool Scopes oder menschliche Freigabe bei destruktiven Aktionen (OWASP Prompt Injection Prevention Cheat Sheet).
Regulatorische Evidenz lässt sich nicht aus Prompt-Text rekonstruieren. High-Risk-AI-Compliance braucht Documentation, Logging, Human Oversight, Data Governance und Risk Management über den Lifecycle, was System Records und organisatorische Prozesse erfordert, nicht Modellinstruktionen (EU AI Act summary).
Evaluation Gaps verbergen Regressionen. Ohne Test Sets, adversarial Simulations, Groundedness Checks, Quality Metrics, Safety Metrics und Production Monitoring können Teams nicht erkennen, ob Prompt-, Modell-, Retrieval- oder Tool-Änderungen das System geschwächt haben (Microsoft Azure AI Foundry evaluation).
Data Governance liegt außerhalb der Prompt-Schicht. NIST verlangt Provenance, Dokumentation von Data Origin/History, Evaluation Thresholds, Incident Monitoring und Security Assessments; ein System Prompt beweist nicht Herkunft, Berechtigung, Änderungen oder korrektes Incident Handling (NIST AI 600-1).
Prompt-only Governance fördert Schein statt Kontrolle. Prototypen wirken sicher, während echte Failure Modes in Identity, Access Management, Retrieval, Logging, Tool Execution, Model Evaluation und Incident Response offen bleiben.

Vorteile & Nachteile

Vorteile

Einfach zu starten, günstig anwendbar und nützlich, um grundlegende Verhaltenserwartungen in frühen AI-Prototypen zu dokumentieren.
Kann offensichtliche unerwünschte Outputs reduzieren, wenn kombiniert mit strukturierten Prompts, Input Validation, Output Validation und Modell- oder Plattform-Guardrails.
Nützlich als eine Schicht in einem breiteren Governance-System für Policy-Ausdruck, User Guidance und Low-Risk-Interaction Design.

Nachteile

System Prompts und Guardrail-Texte sind allein keine durchsetzbaren Kontrollen, besonders für Authorization, Datenzugriff, Tool Execution oder regulatorische Compliance.
Adressiert Daten-Lineage, Zugriffsrechte, Audit-Evidenz, Evaluation, Incident Response, Lifecycle Monitoring und Modell- oder Application Drift nicht ausreichend.
Erzeugt falsches Compliance-Gefühl, wenn technische, organisatorische und auditierbare Kontrollen außerhalb des Modells fehlen.

Empfehlung

Halten Sie Abstand davon, Prompt Guardrails als primäre Safety- oder Compliance-Kontrolle zu nutzen. Nutzen Sie Prompts für Verhaltenserwartungen, erzwingen Sie kritische Policy aber außerhalb des Modells: identity-aware Access Control, eng begrenzte Credentials, Data Classification, Retrieval Filtering, deterministische Validation, schema-constrained Outputs, Tool-Call Authorization, Rate Limits, Sandboxing, Logging, Monitoring, Incident Response und menschliche Freigabe für wirkungsvolle Aktionen.

Adoptieren Sie ein geschichtetes Governance-Modell aligned mit NIST AI RMF und anwendbarer Regulierung. Führen Sie ein AI-System-Inventar, dokumentieren Sie Data Provenance und Intended Use, definieren Sie Go/No-Go Thresholds, evaluieren Sie Modelle und Anwendungen vor Deployment, führen Sie adversarial Testing durch, überwachen Sie Production Behavior und üben Sie Incident Response. Für EU AI Act oder sektorregulierte Use Cases behandeln Sie Technical Documentation, Record Keeping, Human Oversight, Accuracy- und Robustness-Evidenz, Cybersecurity Controls und Data Governance als System Requirements.

Nutzen Sie Plattform-Guardrails als Infrastruktur, nicht als Governance-Beweis. Kombinieren Sie Input Filter, Output Filter, Sensitive-Data Controls, Contextual Grounding, Automated Reasoning oder Policy Checks, Human Review und Post-Production Evaluation. Bewegen Sie Teams weg von Prompt-only Governance, sobald AI-Systeme private Daten nutzen, Tools verwenden, Empfehlungen mit Auswirkungen auf Menschen geben, regulierte Workflows beeinflussen oder operative Aktionen auslösen.