SWE-agent Hold

Überblick

SWE-agent ist ein Forschungssystem, das GitHub Issues durch Interaktion mit Repositories und Test-Harnesses löst (SWE-agent). Es führte die Idee eines auf Sprachmodelle zugeschnittenen Agent-Computer-Interface ein und meldete im Paper von 2024 12,5 % pass@1 auf SWE-bench, damals State of the Art (arXiv). Das Projekt steht unter MIT-Lizenz und wird von Forschenden aus Princeton und Stanford gepflegt, die inzwischen erklären, dass der einfachere mini-swe-agent es abgelöst hat (GitHub).

SWE-agent ist mit Hold bewertet, weil die eigenen Maintainer die Entwicklung auf mini-swe-agent verlagert haben und diesen empfehlen. Hold gilt für neue Arbeit mit SWE-agent selbst; mini-swe-agent ist der gepflegte Nachfolger für Forschung und den Einsatz als Benchmark-Harness.

Adoptionssignale

• Das README von SWE-agent enthält den Hinweis, dass mini-swe-agent SWE-agent „superseded“ hat, und empfiehlt mini-swe-agent „going forward“; das letzte getaggte Release ist v1.1.0 (22. Mai 2025), und die Commits seither sind kleine Fixes und Dokumentationsänderungen (GitHub, Commit-Historie).
• mini-swe-agent wird aktiv veröffentlicht (v2.4.6 am 23. Juli 2026, rund 8.100 Stars am 30. September 2026), und die Maintainer nennen Meta, NVIDIA, Essential AI, IBM, Nebius, Anyscale, Princeton und Stanford als Nutzer (mini-swe-agent).
• mini-swe-agent ist der Harness hinter dem SWE-bench-Leaderboard „bash only“, das Modelle unter demselben minimalen Agent vergleicht (mini-swe-agent, SWE-bench).
• OpenAI berichtet nach seinem Audit keine SWE-bench-Verified-Werte mehr und empfiehlt SWE-bench Pro, was die Benchmark-Ergebnisse schwächt, für die SWE-agent bekannt ist (AI Weekly, Decrypt).

Risiken

• Aufbau auf einer Linie im Wartungsmodus. Internes Tooling auf SWE-agent übernimmt eine Codebasis, deren Autoren ihre Entwicklungsarbeit in mini-swe-agent stecken; seit Mai 2025 gibt es kein getaggtes Release, und der Main-Branch erhält nur kleine Fixes (GitHub, Commit-Historie), sodass Unterstützung neuer Modell-APIs nicht geplant ist.
• Aussagekraft des Benchmarks. OpenAIs Audit von 138 SWE-bench-Verified-Aufgaben, an denen die eigenen Modelle wiederholt scheiterten, fand 59,4 % fehlerhaft, und Modelle reproduzierten Original-Fixes aus dem Gedächtnis (AI Weekly, Decrypt); veröffentlichte Werte sagen wenig über die Leistung auf eigenem Code aus.
• Ausführung modellgenerierter Befehle. Beide Agents führen vom Modell vorgeschlagene Shell-Befehle aus; mini-swe-agent dokumentiert lokale Ausführung neben Docker, Podman und bubblewrap (mini-swe-agent), und lokal erhält das Modell die Shell und die Zugangsdaten der Entwickler.
• Keine Governance-Schicht. Keines der Projekte bietet Freigaben, Berechtigungen pro Nutzer oder Audit-Logs; wer sie für automatische Fixes an Issue-Tracker anbindet, umgeht das Code-Review, sofern es nicht drumherum gebaut wird.

Empfehlung

Hold für neue Arbeit mit SWE-agent: keine neuen Experimente, Integrationen oder internen Werkzeuge darauf beginnen. Bestehende SWE-agent-Setups sollten auf mini-swe-agent migriert werden, den dasselbe Team pflegt und empfiehlt; das FAQ erläutert die Unterschiede zwischen beiden (mini-swe-agent FAQ).

Für Forschung und Evaluation, etwa den Vergleich von Modellen oder Prompts an historischen Issues aus eigenen Repositories oder um Teams zu zeigen, wie Coding Agents arbeiten, eignet sich mini-swe-agent in Containern ohne Produktionszugänge, gemessen an eigenen, zurückgehaltenen Aufgaben statt an öffentlichen SWE-bench-Verified-Werten. Für die tägliche Entwicklungsarbeit sind die gepflegten Agents auf diesem Radar die bessere Wahl: OpenHands (Trial) als selbst gehostete Open-Source-Option sowie Claude Code (Adopt) oder GitHub Copilot (Adopt) als verwaltete Werkzeuge mit Review- und Zugriffskontrollen.

Quellen

• SWE-agent
• GitHub
• SWE-bench
• mini-swe-agent
• mini-swe-agent FAQ
• SWE-agent paper (arXiv 2405.15793)
• AI Weekly: OpenAI drops SWE-bench Verified after flaw audit
• Decrypt: OpenAI hält SWE-bench Verified für kontaminiert
• SWE-agent Commit-Historie