Ein Data Lakehouse mit Trino, Iceberg, Postgres und MinIO
Inhalt Einführung Ich baue einen Open Source Data Lakehouse Stack Storage mit MinIO Katalog mit Apache Polaris Polaris installieren Polaris bootstrappen Polaris initialisieren Query Engines Trino Spark und Jupyter Postgres mit DuckDB Ausblick Einführung Nach den klassischen Data Warehouses, die man locker mit einer Modellierungsstrategie, einer Datenbank, einem Datenintegrationswerkzeug und einem BI Frontend umsetzen konnte, gab es zahlreiche konzeptionelle Weiterentwicklungen: BigData hat geholfen, den Kopf Richtung Streaming Data und unstrukturierten (Dokumenten-)daten zu drehen. Trennung von Storage und Compute hat uns auch schon dort beschäftigt und aus BigData mit Hadoop Backends wurde schließlich der Data Lake.
