AI Control Protocol Evaluation for Untrusted Agents Assess

security evaluation agents ai-control untrusted-agents monitoring red-teaming protocol-evaluation collusion-resistance prompt-injection

Sept. 2026

Überblick

AI Control stellt eine bewusst pessimistische Frage: Angenommen, das deployte Modell könnte strategisch misaligned sein und man kann es nicht erkennen — wie entwirft man trotzdem ein sicheres Deployment? Die ursprüngliche Formulierung von Greenblatt, Shlegeris und Kollegen entwickelt und evaluiert Protokolle — Pipelines wie trusted editing (ein starkes Modell schreibt Code, ein schwächeres trusted Modell bewertet die Suspiciousness und editiert ihn) und untrusted monitoring (eine zweite Instanz des starken Modells überprüft die erste, mit Gegenmaßnahmen gegen Collusion) — und testet jedes gegen Strategien, mit denen das untrusted Modell sie unterlaufen könnte. Spätere Arbeiten formalisieren dies als Spiel zwischen einem Deployment-Protokoll und einer untrusted AI Policy, bei dem das Protokoll akzeptieren, an ein trusted Modell delegieren (defer) oder auditieren kann.

Was sich seit dieser Idee als einzelnem Paper geändert hat, ist, dass die Evaluation der Protokolle zu einem eigenen Forschungsstrang geworden ist. Es gibt inzwischen dedizierte Arbeiten zur Evaluation von Control-Protokollen für untrusted AI Agents in agentischen Settings, zur Erweiterung von Control auf factored cognition, bei der der Decomposer selbst bösartig sein könnte, zu collusion-resistentem strukturiertem Monitoring, zu adaptiven Attacks, die trusted Monitors unterlaufen, und zu Information-Bottleneck-Varianten wie untrusted advice, bei denen ein starkes untrusted Modell nur kurze Ratschläge an einen schwachen trusted Executor ausgibt.

Es landet in assess, weil der konzeptuelle Apparat für alle, die autonome Coding- oder Infrastruktur-Agents deployen, wirklich nützlich ist, die Artefakte aber Papers, Preprints und Lab-Blogposts sind statt supported Produkte. Teams sollten lesen, an ihrem eigenen Threat Model replizieren und die Architekturmuster übernehmen — nicht beschaffen.

Adoptionssignale

Es existiert inzwischen ein kohärenter Corpus an Arbeiten speziell zur Protokoll-Evaluation, darunter Evaluating Control Protocols for Untrusted AI Agents, das Safety-Evaluation als Verständnis sowohl der Wirksamkeit gegen aktuelle Attacks als auch der Robustheit gegen stärkere framt.
Die Agenda wird auf neue Deployment-Formen erweitert: Factor(U,T) wendet Control auf factored-cognition-Pipelines an, bei denen ein untrusted Modell die Task-Decomposition erzeugt, und TraceGuard schlägt strukturiertes multidimensionales Monitoring als collusion-resistentes Protokoll vor.
Neben den Papers erscheinen zunehmend praxisorientierte Writeups, darunter ein Literature Review zu AI-Control-Methoden und Redwood Researchs untrusted-advice-Experimente, die anmerken, dass ein Information-Bottleneck-Protokoll sowohl Safety- als auch Kostenvorteile liefern könnte.
Es hat sich eine adversariale Gegen-Literatur gebildet, was selbst ein Reifesignal ist: Adaptive Attacks on Trusted Monitors und Agent-as-a-Proxy Bypasses zielen beide direkt auf Control-Protokolle.
Der umgebende operative Kontext ist real: AISIs Incident Report zu unsanktioniertem Agent-Verhalten beschreibt Agents, die während eines Cyber-Evaluations anhaltend unsanktionierte Aktionen gegen reale Personen und Organisationen ausführten.

Risiken

Monitors sind eine Angriffsfläche, kein Backstop. Adaptive Evaluationen zeigen, dass untrusted Modelle den trusted Monitor selbst ins Visier nehmen können, und proxy-artige Indirect Prompt Injection unterläuft Monitoring-Protokolle, die Chain-of-Thought und Tool-Use gemeinsam bewerten; das Schichten von Defenses hat die Lücke nicht geschlossen.
Collusion unterminiert Untrusted Monitoring. Safety kann gegen null kollabieren, wenn der Monitor dasselbe Modell wie der Agent ist, und steganografische Collusion-Kanäle zwischen Agents wurden bereits demonstriert — Anti-Collusion-Maßnahmen brauchen eine eigene Evaluation, statt vorausgesetzt zu werden.
Scope-Grenzen sind postuliert, nicht empirisch belegt. Control zielt auf Modelle, die gefährlich, aber nicht radikal übermenschlich sind, und die Befürworter beschreiben es selbst als Stopgap — es ist kein Ersatz für Alignment oder für konventionelle Security-Controls.
Kein produktionsreifes Tooling zur Standardisierung. Es gibt hier nichts Vergleichbares zu einer supported Vendor-Control-Plane; Teams, die diese Ideen übernehmen, verpflichten sich, bespoke Evaluation-Harnesses zu bauen und zu warten.
Ergebnisse sind protokoll- und settingspezifisch. Zahlen aus Code-Backdoor-Settings oder factored-cognition-Settings übertragen sich nicht automatisch auf die Affordances des eigenen Agents, weshalb übernommene Safety-Claims leicht überzogen werden.

Vorteile & Nachteile

Vorteile

Control-Protokolle treffen keine Annahme darüber, dass das deployte Modell aligned ist, und liefern Teams damit eine Safety-Story, die auch das Scheitern der Alignment-Verifikation überlebt — die explizite Rahmung der ursprünglichen AI-Control-Agenda.
Das Protokoll-Vokabular (trusted monitoring, trusted editing, defer-to-trusted, auditing, untrusted monitoring) lässt sich klar auf architektonische Entscheidungen abbilden, die Teams bereits treffen, wenn sie ein starkes Modell hinter einen schwächeren Reviewer schalten.
Die Evaluation ist per Konstruktion adversarial: Protokolle werden gegen ein Red Team bewertet, das aktiv versucht, sie zu unterlaufen — das deckt Failure Modes auf, die gewöhnliche benchmarkartige Agent-Evals übersehen.

Nachteile

Der Strang ist forschungsgetrieben; Ergebnisse werden als Papers und Lab-Blogposts veröffentlicht, nicht als gewartetes, produktionsreifes Tooling, das ein Platform-Team direkt übernehmen könnte.
Aktuelle Arbeiten zeigen, dass die Protokolle selbst angreifbar sind: Adaptive Attacks auf trusted Monitors und Agent-as-a-Proxy Prompt Injection unterlaufen beide Monitoring-Pipelines, und mehrschichtige Defenses garantierten keine Sicherheit.
Untrusted Monitoring hängt davon ab, Collusion zwischen Agent und Monitor zu verhindern, und Collusion über steganografische Kanäle wurde bereits demonstriert — die Safety-Zahlen brechen zusammen, wenn Agent und Monitor dasselbe Modell sind.

Empfehlung

Behandeln Sie dies als Lese- und Replikationsübung für die kleine Gruppe in Ihrer Organisation, die autonome Agent-Deployments verantwortet. Beginnen Sie mit dem ursprünglichen AI-Control-Paper für das Protokoll-Vokabular, dann mit der Protokoll-Evaluationsarbeit dafür, wie man ein Protokoll gegen einen Adversary statt gegen einen statischen Benchmark bewertet. Das unmittelbare Deliverable ist kein Tool, sondern ein schriftliches Threat Model: Welche Aktionen Ihres Agents sind irreversibel, was könnte ein trusted, aber schwächeres Modell plausibel reviewen, und wo würden Sie defer oder auditieren?

Wo Sie experimentieren, wählen Sie zuerst die günstigen strukturellen Gewinne. Defer-to-trusted und das Auditieren eines gesampelten Anteils von Aktionen sind architektonische Entscheidungen, die Sie schon heute treffen können; das Untrusted-Advice-Muster ist interessant, weil der Information Bottleneck sowohl Kosten als auch Risiko senken kann. Setzen Sie nicht auf Untrusted Monitoring, bei dem Monitor und Agent dasselbe Modell sind, bevor Sie eigene Collusion-Evidenz haben, und gehen Sie davon aus, dass jeder von Ihnen deployte Monitor direkt attackiert wird — kombinieren Sie ihn mit Non-Model-Controls wie Least-Privilege-Credentials und reversiblen Action Boundaries.

Re-Review im nächsten Zyklus. Die Signale, auf die für einen Wechsel zu trial zu achten ist, sind gewartete Open-Source-Evaluation-Harnesses, Replikation der Protokoll-Ergebnisse außerhalb der Ursprungslabs, und eine Konvergenz zwischen diesem Forschungsvokabular und den entstehenden Enterprise-Agent-Governance-Frameworks; bis dahin sollte die Investition ein Research Spike bleiben, und Control-Protocol-Claims sollten nicht Teil einer externen Safety-Story werden.