OpenTelemetry for GenAI Observability Trial
Überblick
OpenTelemetry for GenAI Observability wendet vendor-neutrale Telemetrie auf Model Calls, Agent Steps, Tool Invocations, Token Usage, Exceptions, Latenz und Systemverhalten an. Die OpenTelemetry GenAI Semantic Conventions definieren Signale für GenAI Inputs und Outputs als Events, Exceptions, Operation Metrics, Model-Operation Spans und Agent-Operation Spans (OpenTelemetry GenAI semantic conventions).
Das zählt, weil AI-Incidents selten nur in der LLM-Schicht leben. Teams müssen Prompts, Retrieval, Tool Calls, nachgelagerte Services, Infrastruktur-Metriken und Application Errors im selben Observability-Workflow korrelieren.
Der Eintrag steht auf Trial. OpenTelemetry ist die richtige Portability-Schicht, um AI Traces mit bestehenden Observability Pipelines zu verbinden, und spezialisierte LLMOps-Tools bauen bereits darauf auf. Die GenAI Conventions selbst sind aber noch nicht stabil: Alle GenAI Conventions tragen weiterhin den Status Development, und im Juni 2026 (Semantic Conventions v1.42.0) wurden die Definitionen für gen_ai.*, OpenAI und MCP im Core-Repository deprecated und in ein eigenes Repository verschoben, das noch kein getaggtes Release hat (OpenTelemetry semantic conventions v1.42.0, OpenTelemetry GenAI semantic conventions).
Adoptionssignale
- OpenTelemetry hat dedizierte GenAI Semantic Conventions für Events, Exceptions, Metrics, Inference Token Metrics, Model Spans und Agent Spans (OpenTelemetry GenAI semantic conventions).
- Die Conventions enthalten technologiespezifische Guidance für Anthropic, Azure AI Inference, AWS Bedrock, OpenAI und Model Context Protocol, was breite Provider Coverage zeigt (OpenTelemetry GenAI semantic conventions).
- Die Conventions werden aktiv weiterentwickelt: Releases 2026 ergänzten Retrieval Spans, Attribute für Cache- und Reasoning-Tokens, die Erfassung von Tool-Definitionen sowie Streaming-Attribute und -Metriken; im Juni 2026 zog die GenAI-Arbeit in ein eigenes Repository (OpenTelemetry semantic conventions releases, OpenTelemetry semantic conventions v1.42.0).
- LangSmith unterstützt natives Tracing für gängige Agent Frameworks und OpenTelemetry und kann LangSmith Trace Data an bestehende Tools senden oder OTel Data in LangSmith ingestieren (LangSmith).
- Langfuse sagt, sein Tracing basiere auf OpenTelemetry für mehr Kompatibilität und weniger Vendor Lock-in, mit Traces über LLM Calls, Retrieval, Embedding, API Calls, Sessions und Agent Graphs (Langfuse).
- Produktions-Dashboards tracken zunehmend Token Usage, Latenz, Error Rates, Kostenaufschlüsselung, Feedback Scores und Online Evals als zentrale AI-Operations-Metriken (LangSmith, Langfuse).
Risiken
Die GenAI Conventions sind noch als Development markiert und liegen jetzt in einem separaten Repository ohne getaggte Releases; Teams sollten Naming-, Attribut- und Stabilitätsänderungen erwarten und die Convention-Version, die ihre Instrumentation emittiert, fest pinnen (OpenTelemetry GenAI semantic conventions, OpenTelemetry semantic conventions v1.42.0).
Prompt- und Response-Telemetrie kann sensible Daten enthalten. Instrumentation braucht Maskierung, Sampling, Retention Policies, Access Controls und klare Regeln, ob voller Content, Hashes, Metadaten oder externalisierte Payload References gespeichert werden.
Telemetrie-Kosten können schnell wachsen. Agent Traces können tief verschachtelte Runs, große Payloads, viele Tool Calls und wiederholte Model Invocations enthalten; Sampling und Retention früh setzen (LangSmith).
Observability ersetzt keine Evaluation. Traces zeigen, was passiert ist; Teams brauchen weiter Quality Checks, Safety Checks und Regression Suites, um zu entscheiden, ob Verhalten akzeptabel ist.
Vorteile & Nachteile
Vorteile
- Erweitert vertraute Telemetrie-Praktiken auf Prompts, Model Calls, Tokens, Latenz und Tool Usage.
- Hilft, AI-Verhalten mit Application Traces und Incidents zu korrelieren.
- Vermeidet isolierte Vendor Dashboards durch einen offenen Observability-Standard.
Nachteile
- Sensible Prompt- und Response-Daten brauchen sorgfältige Maskierung und Retention Policies.
- GenAI Semantic Conventions reifen noch.
- Telemetrie-Volumen und Kosten können bei High-Traffic-AI-Systemen schnell wachsen.
Empfehlung
OTel-kompatible Instrumentation als Trial auf Produktions-AI-Services und Agents einsetzen, die bereits an eine OpenTelemetry-Pipeline angebunden sind, mit gepinnter Convention-Version und eingeplantem Aufwand für Attribut-Umbenennungen, wenn sich die GenAI Conventions ändern. Model Spans, Tool Spans, Retrieval Spans, Token Metrics, Latenz, Errors, Cache Events und strukturierte Correlation IDs erfassen, sensible Inhalte standardmäßig maskieren.
LLMOps-Tools für Prompt/Version Debugging, Online Evals und Trace Review nutzen, aber die Telemetrie-Grundlage portabel halten. Plattformen bevorzugen, die nach OpenTelemetry exportieren oder ingestieren können, damit AI Operations kein abgekoppeltes Dashboard werden. Ein Wechsel von Trial zu Adopt ist sinnvoll, sobald die GenAI Conventions ein stabiles Release erreichen und Collector, Backends und SDK-Instrumentierungen es unterstützen.
Quellen
Beratung
Vom Radar zur Umsetzung
Du hast Technologien bewertet — wir helfen dir, sie sicher und messbar in produktive Systeme zu bringen.
