Apache Polaris und Unity Catalog Assess

Überblick

Apache Polaris und Databricks Unity Catalog stehen für konvergierende offene und kommerzielle Catalog-Layer für Multi-Engine-Table-Governance (Polaris, Unity Catalog). Polaris hat den Apache Incubator im Februar 2026 verlassen (Polaris-Graduierung); Unity Catalog gibt es sowohl als gemanagten Databricks-Dienst als auch als Open-Source-Projekt unter Apache-2.0-Lizenz in der LF AI & Data (Unity Catalog OSS).

Vor dem Duplizieren von Policies über mehrere Engines sollte geklärt sein, welcher Catalog das Lakehouse-IAM-Modell verankert.

Adoptionssignale

• Polaris wurde mit 27 Ja-Stimmen ohne Gegenstimme zum Apache Top-Level-Projekt; während der Inkubation erschienen sechs Releases, über 2.800 Pull Requests wurden gemergt, und das PMC umfasst Mitglieder von Dremio, Snowflake, Google, Microsoft, Confluent und LanceDB (Dremio zur Graduierung).
• Die Release-Kadenz bleibt nach der Graduierung stabil: 1.4.0 brachte im April 2026 Multi-Tenancy und storage-bezogene Credentials (Polaris 1.4), 1.8.0 erschien am 28. September 2026 (Polaris Releases).
• Kommerzielle Dienste laufen auf Polaris: Snowflake Open Catalog ist ein allgemein verfügbarer, gemanagter Polaris-Dienst (Snowflake Open Catalog), und SAP plant nach der Übernahme von Dremio (angekündigt im Mai, abgeschlossen am 6. Juli 2026) einen offenen Catalog auf Polaris-Basis für SAP Business Data Cloud (SAP übernimmt Dremio, SAP schließt Dremio-Übernahme ab).
• Databricks nennt mehr als 14.000 Organisationen, die Daten und AI über Unity Catalog governen, und hat auf dem Data + AI Summit 2026 Iceberg v3 und Managed Iceberg als allgemein verfügbar angekündigt (Neues in Unity Catalog).
• Unity Catalog stellt alle Iceberg-Tabellen über die Iceberg REST Catalog API bereit; externe Engines können gemanagte Iceberg-Tabellen lesen und schreiben (Iceberg in Databricks).
• Open-Source Unity Catalog 0.6.0 (August 2026) ergänzt Metric Views, SQL Views und Spark-4.2-Support, aufbauend auf der mit 0.5.0 eingeführten UC Delta API (Unity Catalog Releases).

Risiken

• Asymmetrische Formatunterstützung. Polaris Generic Tables für Delta und andere Formate sind Beta, ohne Commit-Koordination und ohne Credential Vending (Polaris Generic Tables); Databricks behandelt fremde Iceberg-Tabellen als read-only und unterstützt weder Branching noch Tagging (Iceberg in Databricks). Zwei Catalogs parallel bedeuten nicht, dass jede Engine jede Tabelle schreiben kann.
• Offener versus gemanagter Unity Catalog. Das Open-Source-Projekt ist ein LF-AI-&-Data-Sandbox-Projekt in Version 0.6 (Unity Catalog OSS, Unity Catalog Releases); Funktionen wie ABAC-Policies, Domains und gemanagtes Disaster Recovery kündigt Databricks für den eigenen Dienst an (Neues in Unity Catalog). Eine OSS-Installation ist daher kein gleichwertiger Ersatz.
• Doppelte Policies und Drift. Die Iceberg-REST-Spezifikation standardisiert Tabellenoperationen, aber kein gemeinsames Berechtigungsmodell. Liegen dieselben Daten in beiden Catalogs, muss eigenes Tooling die Grants in Polaris-RBAC und Unity Catalog konsistent halten.
• Herstellergesteuerte Managed-Schichten. Gemanagtes Polaris kommt von Snowflake oder von Dremio, inzwischen Teil von SAP (SAP schließt Dremio-Übernahme ab); die Iceberg-Unterstützung von Databricks setzt einen Unity-Catalog-Workspace voraus, was ein Wettbewerber als Lock-in-Punkt beschreibt (Onehouse-Analyse).
• Upgrade-Takt. Polaris hat zwischen April und September 2026 fünf Minor-Releases veröffentlicht und dabei veraltete APIs entfernt, etwa Convenience-Overloads von IcebergCatalogHandler in 1.8.0 (Polaris Releases); Self-Hosting bedeutet, diese Upgrades mitzugehen.

Empfehlung

Assess ist hier eine Plattformentscheidung, kein Tool-Test. Die Kernfrage lautet, welcher Catalog die maßgeblichen Grants für die Lakehouse-Tabellen hält. Ist Databricks die zentrale Compute-Plattform, ist Unity Catalog bereits die Governance-Schicht, und die Bewertung dreht sich darum, wie weit externe Engines den Iceberg-REST-Endpunkt nutzen können. Ist der Bestand Iceberg-zentriert und reicht über Snowflake, Trino, Flink oder Dremio, ist Polaris (selbst betrieben oder als Snowflake Open Catalog) der herstellerneutrale Kandidat.

Die Bewertung sollte an wenigen echten Tabellen mit mindestens zwei schreibenden Engines erfolgen und gezielt die kritischen Fälle prüfen: Schreibzugriffe über Catalog-Grenzen, Credential Vending pro Engine, Änderungen an Grants und deren Weitergabe sowie Table Maintenance. Ein Design, in dem beide Catalogs Schreibhoheit über dieselben Tabellen haben, ist zu vermeiden. Für regulierte Workloads sollte vor jeder Migration produktiver Daten dokumentiert sein, wo in jeder Variante die Audit-Logs für Grants und Datenzugriffe liegen. Eine Neubewertung lohnt sich, sobald Polaris Generic Tables die Beta verlassen oder Open-Source Unity Catalog Version 1.0 erreicht.

Quellen

• Apache Polaris
• Unity Catalog
• Polaris docs
• Polaris-Graduierung
• Dremio zur Graduierung
• Polaris Releases
• Polaris 1.4
• Polaris Generic Tables
• Snowflake Open Catalog
• SAP übernimmt Dremio
• SAP schließt Dremio-Übernahme ab
• Neues in Unity Catalog, Data + AI Summit 2026
• Iceberg in Databricks
• Unity Catalog OSS
• Unity Catalog Releases
• Onehouse-Analyse