MLflow 3 Adopt
mlopsdata-platformexperiment-trackingmodel-registrygenai-tracingopen-sourcegovernancedeploymentevaluation
Überblick
MLflow ist eine offene Plattform für den kompletten ML-Lifecycle, in MLflow 3 erweitert um GenAI Tracing, Prompt Management und Evaluations neben Experiments und Model Registry (MLflow Dokumentation).
Adopt, wenn ihr eine vendor-neutrale Control Plane für Experiments, Models und GenAI Traces wollt, die mit Databricks, Kubernetes oder Self-Hosting integriert. Kombiniert mit Inference Gateway und Feature Store statt Ersatz.
Adoptionssignale
- MLflow 3 Dokumentation positioniert GenAI Tracing neben klassischem Run Tracking.
- Databricks-Kunden erben managed MLflow mit Enterprise Auth und Audit.
- OpenTelemetry-Export-Pfade korrelieren MLflow Traces mit APM Stacks.
- Community-Adoption bleibt hoch für sklearn, PyTorch und LangChain Instrumentation.
Risiken
- Unbegrenztes Trace Logging für gesprächige Agents steigert Storage-Kosten schnell.
- Model Promotion ohne Evaluation Gates reproduziert Registry-Fehler.
- Multi-Tenant Deployments brauchen Auth Plugins; Default-Installs sind nicht produktionsreif.
- Überlappendes LangSmith oder Vendor Tracing dupliziert Telemetrie ohne Standards.
Vorteile & Nachteile
Vorteile
- Unified Tracking für klassisches ML und GenAI Traces in einem OSS-Projekt reduziert Tool-Sprawl.
- Model Registry unterstützt Stage Promotions, Aliases und Governance Hooks.
- MLflow 3 erweitert GenAI Evaluation, Prompt Registry und Tracing für Agent-Workloads.
Nachteile
- Self-hosted Deployments brauchen DBA- und Storage-Planung für Artefakte und Trace Retention.
- LLMOps-Tiefe hinkt spezialisierten Vendoren bei Advanced Eval und Guardrail UX hinterher.
- Teams müssen Naming, Tagging und Permission-Konventionen definieren, sonst wird Metadata un durchsuchbar.
Empfehlung
Adoptiert MLflow 3 als System of Record für Training Runs, registrierte Models und GenAI Traces, mit Retention Policies und Promotion Workflows in CI. Standardisiert Autologging pro Sprache und blockiert manuelle Registry Writes außerhalb Automation.