Delta Lake und UniForm Trial

Überblick

Delta Lake bleibt der ACID-Table-Format-Anker für Lakehouses; UniForm und Interoperabilitäts-Initiativen ermöglichen Iceberg- oder Hudi-Kompatibilität ohne Datenkopien (Delta Lake, UniForm).

Trial, wenn mehrere Engines dieselben governeten Tabellen für Analytics und AI-Feature-Pipelines lesen müssen. Performance und Kompatibilität sollten auf dem eigenen Workload-Mix validiert werden.

Auf Databricks heißt die Funktion inzwischen „Iceberg reads“; sie setzt eine Registrierung in Unity Catalog, aktiviertes Column Mapping und Databricks Runtime 14.3 LTS oder neuer voraus, und Iceberg-Clients erhalten nur Lesezugriff (Read Delta tables with Iceberg clients). Im Open-Source-Delta-Lake ist der Iceberg-Support allgemein verfügbar, der Hudi-Support ist weiterhin als Preview gekennzeichnet (Delta UniForm docs).

Adoptionssignale

• UniForm mit Iceberg-Kompatibilität ist auf Databricks seit Juni 2024 allgemein verfügbar; M Science wird damit zitiert, „a single copy of our data“ zu schreiben, die jede Delta- oder Iceberg-fähige Engine abfragen kann (Databricks UniForm GA announcement).
• Im Mai 2026 hat Databricks Iceberg v3 für Managed, Foreign und UniForm-Tabellen allgemein verfügbar gemacht und Spark, Trino, Flink, Snowflake, DuckDB und pandas als Engines genannt, die die Iceberg-Tabellen in Unity Catalog nutzen können (Unity Catalog and the next era of Apache Iceberg).
• Snowflake kann UniForm-Tabellen über eine Catalog Integration gegen den Iceberg-REST-Endpoint von Unity Catalog abfragen; ein Databricks-Mitarbeiter dokumentiert das Vorgehen Schritt für Schritt im technischen Blog der Databricks Community (Read Delta tables with Snowflake via Unity Catalog).
• Das Open-Source-Projekt hat Delta 4.1.0 (Februar 2026), 4.2.0 (April), 4.3.0 (Juni) und 4.4.0 (August 2026) veröffentlicht; 4.3.0 macht die Iceberg-Konvertierung atomar und inkrementell und ergänzt Spark-4.1-Support für UniForm (Delta 4.3.0 release notes, Delta releases).
• Dasselbe Delta-zu-Iceberg-Muster ist in Microsoft Fabric eingebaut: OneLake speichert Tabellen in Delta Lake und erzeugt für Iceberg-Reader virtuelle Iceberg-v2-Metadaten (Use Iceberg tables with OneLake).
• Das Repository delta-io/delta hatte Ende September 2026 rund 9.000 GitHub-Stars und 2.200 Forks (Delta Lake GitHub).

Risiken

• Nur lesende Interoperabilität. Iceberg- und Hudi-Clients können UniForm-Tabellen nur lesen; in der Open-Source-Variante lässt sich das nicht erzwingen, sodass ein externer Writer oder Cleanup-Job, der nichts von Delta weiß, die Delta-Tabelle beschädigen kann (Delta UniForm docs).
• Veraltete Metadaten bei pfadbasierten Readern. Laut Databricks müssen pfadbasierte Iceberg-Clients Metadaten teils manuell aktualisieren und können auf veralteten Versionen scheitern, nachdem VACUUM Datendateien entfernt hat (Read Delta tables with Iceberg clients).
• Brüche in der Versionsmatrix. In Delta 4.0.0 war UniForm auf Spark 4.0 nicht verfügbar, und in Delta 4.4 unterstützt das delta-iceberg-Modul Spark 4.2 nicht (Delta 4.4.0 release notes); ein Spark-Upgrade kann die Iceberg-Interoperabilität unbemerkt entfernen.
• Kopplung an den Catalog. Open-Source-UniForm stellt den Hive Metastore zugunsten von Unity Catalog als Iceberg-Committing-Catalog zurück (Delta 4.2.0 release notes); die Formatentscheidung ist damit faktisch auch eine Catalog-Entscheidung.
• Einschränkungen für v2-Reader. Als Iceberg v2 ausgelieferte Tabellen können keine Deletion Vectors nutzen, und Materialized Views sowie Streaming Tables lassen sich nicht für Iceberg Reads aktivieren (Read Delta tables with Iceberg clients); pro konsumierender Engine ist zu prüfen, welche Iceberg-Version sie unterstützt.

Empfehlung

Trial für Delta Lake mit UniForm ist sinnvoll, wenn Delta bereits das Schreibformat ist, typischerweise auf Databricks oder Fabric, und andere Engines wie Snowflake, Trino oder DuckDB lesend auf dieselben governeten Tabellen zugreifen sollen. Gut geeignet ist das für Gold-Layer- und Feature-Tabellen, die ohne Export-Jobs an nachgelagerte Konsumenten gehen. Vor dem Pilot sollten die Tabellen in Unity Catalog registriert, Column Mapping aktiviert, pro Konsument die Iceberg-Version (v2 oder v3) festgelegt und genau die Kombination aus Spark-, Delta- und Iceberg-Version getestet werden, die später in Produktion läuft.

Als Strategie für mehrere schreibende Engines eignet sich UniForm nicht: Wenn mehrere Engines dieselben Tabellen schreiben müssen, sind native Iceberg-Tabellen (siehe Apache Iceberg sowie Apache Polaris und Unity Catalog auf diesem Radar) der bessere Ausgangspunkt. Die Version des delta-iceberg-Moduls gehört fest in den Build, nach jedem Pipeline-Lauf sollte geprüft werden, ob die Iceberg-Metadaten aktuell sind, und es sollte dokumentiert sein, welcher Catalog die Iceberg-Metadaten committet, damit Catalog-Migrationen externe Reader nicht brechen.

Quellen

• Delta Lake docs
• Delta UniForm docs
• Read Delta tables with Iceberg clients (Databricks)
• Apache Iceberg in Databricks
• Delta Lake GitHub
• Delta Lake releases
• Delta 4.4.0 release notes
• Delta 4.3.0 release notes
• Delta 4.2.0 release notes
• Databricks UniForm GA announcement
• Unity Catalog and the next era of Apache Iceberg
• Read Delta tables with Snowflake via Unity Catalog
• Use Iceberg tables with OneLake
• Apache XTable