Apache Airflow 3 Adopt
Überblick
Apache Airflow ist der Open-Source-Standard zum Planen und Überwachen batch-orientierter Daten-Workflows als DAGs. Airflow 3 bringt eine neu geschriebene React-Oberfläche, DAG-Versionierung, vom Scheduler verwaltete Backfills, ereignisgesteuertes Scheduling und ein Task SDK, das die Task-Ausführung vom Scheduler trennt; das bekannte DAG-Modell bleibt erhalten (Airflow 3 Release).
Adopt für Batch-Ingestion, Feature-Generierung, Model-Retraining-Orchestrierung und Publishing mit expliziten Dependencies, Retries und operativer Sichtbarkeit. Ergänzt Stream-Engines bei Latenz unter Minuten-Scheduling.
Adoptionssignale
- Airflow 2 hat am 22. April 2026 das End of Life erreicht; Airflow 3, erstmals am 22. April 2025 veröffentlicht, ist die einzige gepflegte Major-Linie (Airflow version life cycle).
- In Astronomers State of Airflow 2026 (5.800+ Befragte, Januar 2026) waren 26 % der Nutzer bereits auf Airflow 3, 84 % der verbliebenen 2.x-Nutzer planten das Upgrade; 32 % betrieben GenAI- oder MLOps-Use-Cases mit Airflow in Produktion (Astronomer).
- Amazon MWAA unterstützt seit 1. September 2026 Airflow 3.3.1; die 3.3-Linie bringt einen Task and Asset State Store für dauerhaften Task-State und ein experimentelles Language Task SDK für Tasks in Java und Go (AWS What's New).
- Google Cloud hat Airflow 3 in Cloud Composer 3 allgemein verfügbar gemacht, das in Managed Service for Apache Airflow umbenannt wird, und erlaubt seit 26. August 2026 Airflow-3.3.1- und -3.2.2-Umgebungen, Snapshots aus Airflow 2.11.1 zu laden (Google Cloud release notes).
Risiken
- Airflow 2 erhält nach dem End of Life am 22. April 2026 keine Fixes mehr, verbliebene 2.x-Umgebungen tragen damit ungepatchte Risiken; das Upgrade erfordert weiterhin Tests für Custom Operators und Plugin-Kompatibilität. Managed Services bieten weiter Airflow 2.11 an: Google Cloud hat seine Default-Airflow-Version am 28. April 2026 auf 2.11.1 gesetzt, obwohl Airflow-3-Builds parallel verfügbar sind (Google Cloud release notes).
- DAGs mit eingebetteten LLM-Calls ohne Cost Caps können Provider-Rechnungen sprengen.
- Gemeinsame Metadata DBs bleiben Single Points of Failure ohne HA-Disziplin.
- Übermäßige PythonOperators für schwere Compute lasten den Scheduler.
Vorteile & Nachteile
Vorteile
- Airflow 3 modernisiert Scheduler und UI bei bewahrtem DAG-Mentalmodell.
- Großes Provider-Ökosystem integriert Warehouses, Lakes, Kubernetes und ML-Training in einer Orchestrierungsebene.
- TaskFlow API und deferrable Operators verbessern Ergonomie für Python-native Daten- und AI-Pipelines.
Nachteile
- Operative Komplexität bleibt hoch: Metadata DB, Executors, Workers und Upgrades brauchen Platform Ownership.
- DAG-Sprawl ohne Standards erzeugt untestbare Pipelines und unklare SLAs.
- Nicht ideal für Sub-Sekunden-Streaming; kombiniert mit Flink für Echtzeitpfade.
Empfehlung
Airflow 3 ist der Default-Batch-Orchestrator für Daten- und ML-Pipelines (Adopt), mit platform-managed Executors und DAG-Review-Standards. Da Airflow 2 End of Life ist, gelten verbliebene 2.x-Umgebungen als Migrationsschuld: Sie sollten nach festem Zeitplan auf Airflow 3 wechseln, mit Integrationstests auf kritischen DAGs vor dem Cutover. Neue Managed-Umgebungen sollten explizit auf eine Airflow-3-Version gesetzt werden, statt den Default des Anbieters zu übernehmen.
Quellen
Beratung
Vom Radar zur Umsetzung
Du hast Technologien bewertet — wir helfen dir, sie sicher und messbar in produktive Systeme zu bringen.
