LangSmith Trial

Überblick

LangSmith liefert Tracing, Datasets, Evaluations und Prompt Hub für LangChain und kompatible Stacks (LangSmith).

Trial, wenn mehrere Squads gemeinsame LLMOps-Workflows brauchen. Doppelte Telemetrie sollte vermieden werden, wenn OpenTelemetry GenAI bereits in die zentrale Observability fließt, es sei denn, LangSmith schließt eine Eval-Lücke.

Adoptionssignale

• LangChain hat im Oktober 2025 eine Series B über 125 Mio. USD bei einer Bewertung von 1,25 Mrd. USD abgeschlossen, angeführt von IVP, neu dabei CapitalG und Sapphire Ventures. Die Ankündigung nennt Replit, Clay, Harvey, Rippling, Cloudflare, Workday und Cisco als Nutzer und berichtet ein 12-faches Wachstum des monatlichen LangSmith-Trace-Volumens gegenüber dem Vorjahr (LangChain Series-B-Ankündigung, Fortune).
• Mit derselben Ankündigung wurde die LangGraph Platform in LangSmith Deployment umbenannt; LangSmith ist damit die Klammer für Observability, Evaluation und Agent-Hosting (LangChain Series-B-Ankündigung).
• Klarna nutzt LangSmith für Observability, testgetriebene Entwicklung mit LLM-Evaluations und Prompt-Optimierung beim AI-Assistenten für 85 Millionen aktive Nutzer; der Agent selbst basiert auf LangGraph (Klarna Customer Story).
• Die OpenTelemetry-Ingestion über einen OTLP-Endpoint ist dokumentiert, einschließlich eines Collector-Fan-out-Musters, das dieselben Spans an LangSmith und weitere Observability-Backends leitet, mit Attribut-Mapping für GenAI Semantic Conventions, OpenInference und Traceloop (Trace with OpenTelemetry).
• EU-Datenresidenz ist in allen Plänen zum gleichen Preis wie die US-Region verfügbar (Regions FAQ).
• Self-Hosted LangSmith ist auf GKE, EKS, AKS und OpenShift 4.14+ getestet (Self-Hosting auf Kubernetes).

Risiken

• Preis- und Retention-Änderungen. Ein externer Pricing-Tracker hat die Umstellung im Juli 2026 von Dollar-Preisen pro 1.000 Traces auf LCU/LSU-Einheiten dokumentiert und errechnet daraus eine Verdopplung der Base-Trace-Kosten auf 5 USD pro 1.000 (UsagePricing); die offizielle Preisseite rechnet inzwischen in LCU (1,50 USD) und LSU (1,00 USD) ab (LangSmith Pricing), und der Changelog bestätigt, dass die erweiterte SaaS-Retention jetzt bei 180 Tagen endet (LangSmith Changelog). Budgets und Aufbewahrungskonzepte auf Basis der Zahlen von 2025 müssen neu geprüft werden.
• Sensible Daten in Traces. Traces enthalten vollständige Prompts, abgerufene Dokumente und Tool-Outputs. Die 2024 von Noma Security gefundene Schwachstelle „AgentSmith“ (CVSS 8.8) erlaubte es, über einen auf LangChain Hub geteilten Agenten Prompts und OpenAI-API-Keys von Nutzern über einen Proxy des Angreifers zu leiten; sie wurde im November 2024 behoben (The Hacker News). Öffentlich geteilte Hub-Artefakte sollten nur nach Prüfung genutzt werden, PII-Redaction und Zugriffsrichtlinien gehören vor den ersten Produktions-Traffic.
• Kein Regionswechsel. Eine Organisation kann derzeit nicht zwischen US- und EU-Region wechseln (Regions FAQ); eine falsche Wahl bei der Registrierung bedeutet später eine Migration.
• Aufwand beim Self-Hosting. Der Eigenbetrieb setzt eine Enterprise-Lizenz und ein Kubernetes-Deployment mit PostgreSQL, Redis und ClickHouse voraus (Self-Hosting auf Kubernetes) – ein erheblicher Betriebsaufwand für ein einzelnes Observability-Tool.
• Sogwirkung der Plattform. Da Deployment, Evaluation und Prompt-Verwaltung in ein kommerzielles Produkt wandern, lassen sich Datasets, Evaluatoren und Prompts schwerer mitnehmen; die OTLP-Ingestion deckt Traces ab, nicht diese Assets.

Empfehlung

LangSmith eignet sich für ein Trial, wenn ein Team bereits auf LangChain oder LangGraph aufbaut und über mehrere Squads hinweg gemeinsames Tracing, Evaluation-Datasets und Human Annotation braucht, ohne eigenes Eval-Tooling zu bauen. Europäische Unternehmen sollten die Organisation von Beginn an in der EU-Region anlegen, den AVV abschließen und festlegen, welche Felder redigiert oder ausgeschlossen werden, bevor Produktions-Traces fließen. Die Instrumentierung sollte über OpenTelemetry laufen und nicht allein über das LangSmith-SDK, damit dieselben Spans auch den zentralen Observability-Stack erreichen und ein späterer Wechsel möglich bleibt.

Nicht geeignet ist LangSmith, wenn der Betrieb auf eigener Infrastruktur vorgeschrieben ist, aber kein Enterprise-Budget besteht, oder wenn Traces im SaaS-Produkt länger als 180 Tage aufbewahrt werden müssen; dort passen Langfuse oder MLflow besser. Vor dem Rollout sollten die Kosten anhand des tatsächlichen Trace-Volumens unter dem aktuellen LCU/LSU-Modell kalkuliert und Sampling-Regeln festgelegt werden. Evaluation-Datasets und Prompts gehören zusätzlich exportiert in die Versionskontrolle, damit sie nicht nur in LangSmith liegen.

Quellen

• LangSmith
• LangSmith docs
• Observability
• Evaluation
• LangSmith Pricing
• LangSmith Changelog
• Trace with OpenTelemetry
• Regions FAQ
• Self-Hosting auf Kubernetes
• LangChain Series-B-Ankündigung
• Fortune: LangChain wird Unicorn
• Klarna Customer Story
• UsagePricing: LangSmith-Preisänderung Juli 2026
• The Hacker News: AgentSmith-Schwachstelle