Memilih arsitektur tabel yang tepat sangat penting untuk memaksimalkan performa, mengurangi biaya, dan memastikan akses data di seluruh alat analisis Anda. Halaman ini menjelaskan berbagai jenis tabel dan endpoint penayangan yang tersedia di Lakehouse untuk Apache Iceberg, yang membantu Anda memilih opsi terbaik berdasarkan mesin tulis, persyaratan baca, dan kebutuhan kontrol pengelolaan.
Format tabel menurut katalog atau mesin
Pilih katalog atau mesin untuk mempelajari format tabel yang didukung, konfigurasi metastore, kemampuan pengoptimalan penyimpanan, dan interoperabilitas mesin.
Katalog runtime Lakehouse
Katalog runtime Lakehouse mengelola tabel Apache Iceberg melalui endpoint katalog REST Iceberg dan menyediakan interoperabilitas baca-tulis yang lancar di seluruh mesin yang kompatibel dengan Iceberg (Spark, Flink, Trino) dan BigQuery, sekaligus didukung oleh antarmuka katalog REST Iceberg standar industri.
Format tabel yang didukung
Tabel Apache Iceberg V2 (GA) dan tabel V3 (Pratinjau) didukung. Tabel Iceberg V1 tidak didukung. Sebelum menggunakan tabel V1 yang ada dengan Lakehouse untuk Apache Iceberg, Anda harus mengupgradenya ke versi yang didukung. Untuk mengetahui informasi selengkapnya, lihat Mengupgrade tabel Iceberg V1 ke V2.
Key features include:
- Metastore: Lakehouse runtime catalog.
- Storage: Cloud Storage.
- Storage optimization: Managed by you, or optionally by Google (Preview).
- Read and write access:
- Open source engines: read and write (GA)
- BigQuery: read/write (Preview)
- Use cases: Open lakehouse with high-performance, enterprise-grade storage for advanced analytics, streaming, and AI.
Metastore Hive
Katalog runtime Lakehouse mengelola tabel Apache Hive melalui endpoint metastore Apache Hive (HMS) yang dioptimalkan untuk kompatibilitas ExternalCatalog Apache Spark, sehingga Anda dapat berbagi data dengan lancar di seluruh Apache Spark, Apache Hive, dan BigQuery. Anda membuat tabel ini dari mesin open source dan menyimpannya di Cloud Storage. Opsi ini paling cocok jika Anda ingin alur kerja ETL dikelola oleh mesin open source tanpa memerlukan metastore Hive yang dihosting sendiri secara terpisah, dan hanya memerlukan akses baca dari BigQuery.
Tabel yang dikelola oleh endpoint metastore Hive adalah tabel Apache Hive dan Spark standar (menggunakan sumber data Hive SerDes atau Spark), bukan tabel Apache Iceberg. Untuk membuat dan mengelola tabel Apache Iceberg di katalog runtime Lakehouse, gunakan endpoint katalog REST Iceberg.
Key features include:
- Metastore: Lakehouse runtime catalog (through custom
IMetastoreClient). - Storage: Cloud Storage (supporting formats like Parquet, ORC, and Avro).
- Storage optimization: Managed by you or a third party.
- Read and write access:
- Open source engines (Spark and Hive): Read and write.
- BigQuery: read-only.
- Use cases: Migrating existing Spark and Hive workloads to a fully managed, serverless metastore on Google Cloud.
BigQuery
BigQuery mendukung tabel terkelola Apache Iceberg, tabel native, dan tabel eksternal.
Tabel terkelola Apache Iceberg: Tabel ini adalah tabel Apache Iceberg yang Anda buat dan kelola dari BigQuery dan disimpan di Cloud Storage. Meskipun dapat dibaca oleh mesin open source, BigQuery adalah mesin yang mengelola metadata dan menulis ke tabel tersebut. Opsi ini paling cocok jika Anda ingin alur kerja dikelola sepenuhnya oleh BigQuery.
Tabel native: Tabel ini adalah tabel BigQuery native. Tabel ini terkelola sepenuhnya dan menawarkan fitur analisis dan pengelolaan tercanggih. Opsi ini paling cocok untuk workload non-Iceberg.
Tabel eksternal: Tabel ini adalah konstruksi khusus BigQuery untuk data yang disimpan di Cloud Storage, Amazon S3, atau Azure Blob Storage. Data dan metadata dikelola sendiri, dan BigQuery hanya memiliki akses baca. Pilih opsi ini untuk data yang ingin Anda kelola di katalog atau penyimpanan pihak ketiga secara langsung.
Format tabel menurut produk
Gunakan diagram berikut untuk membandingkan jenis tabel antara katalog runtime Lakehouse dan BigQuery.
Lakehouse
| Apache Iceberg (GA) | Lakehouse Tanpa Batas (Pratinjau) | Apache Hive (Pratinjau) | |
|---|---|---|---|
| Metastore | Katalog runtime Lakehouse | Katalog runtime Lakehouse | Katalog runtime Lakehouse |
| Penyimpanan | Cloud Storage | Cloud Storage / Amazon S3 | Cloud Storage |
| Pengoptimalan penyimpanan | Dikelola pelanggan, pihak ketiga, atau Google (Pratinjau) | Dikelola pelanggan atau pihak ketiga | Dikelola pelanggan atau pihak ketiga |
| Baca/tulis |
Mesin open source (baca/tulis) BigQuery (baca/tulis [Pratinjau]) |
Mesin open source (baca) BigQuery (baca) |
Mesin open source (baca/tulis) BigQuery (hanya baca) |
| Operasi lanjutan | Tidak ada | Tidak satu pun | Tidak ada |
| Kasus penggunaan | Lakehouse terbuka | Membuat kueri data di penyedia cloud lain tanpa memigrasikan file atau membuat pipeline ETL yang kompleks. | Memigrasikan workload Spark dan Hive yang ada ke metastore serverless yang terkelola sepenuhnya, |
BigQuery
| Tabel terkelola Apache Iceberg | Tabel eksternal | Tabel standar | |
|---|---|---|---|
| Metastore | BigQuery | Metastore eksternal atau yang dihosting sendiri | BigQuery |
| Penyimpanan | Cloud Storage | Cloud Storage / Amazon S3 / Azure | BigQuery |
| Pengoptimalan penyimpanan | Dikelola Google | Dikelola pelanggan atau pihak ketiga | Dikelola Google |
| Baca/tulis |
Mesin open source (hanya baca dengan library Iceberg, interoperabilitas baca/tulis dengan BigQuery Storage API)
BigQuery (baca/tulis) |
Mesin open source (baca/tulis) BigQuery (hanya baca) |
Mesin open source (interoperabilitas baca/tulis dengan
BigQuery Storage API) BigQuery (baca/tulis) |
| Operasi lanjutan | Streaming throughput tinggi dengan BigQuery Storage Write API (gRPC), Change Data Capture (CDC), dan transaksi multi-pernyataan | Tidak ada | Streaming throughput tinggi dengan BigQuery Storage Write API (gRPC), Change Data Capture (CDC), dan transaksi multi-pernyataan |
| Kasus penggunaan | Lakehouse terbuka dengan penyimpanan berperforma tinggi dan tingkat perusahaan untuk analisis, streaming, dan AI lanjutan | Tabel staging untuk pemuatan BigQuery, tabel lama yang hanya dapat dikueri | Penyimpanan tingkat perusahaan untuk analisis, streaming, dan AI lanjutan |
Langkah berikutnya
Pelajari cara mengelola tabel Apache Iceberg.
Pelajari cara mengimpor tabel Iceberg eksternal menggunakan Dataflow.