Menjalankan kueri pada tabel Iceberg dengan katalog runtime Lakehouse, Spark, dan BigQuery

Memberikan peran IAM

Agar tugas PySpark Managed Service untuk Apache Spark dan katalog runtime Lakehouse dapat berfungsi dengan Cloud Storage dan BigQuery, berikan peran yang diperlukan kepada akun utama yang sesuai:

1. Di konsol Google Cloud , klik Activate Cloud Shell.

   Aktifkan Cloud Shell

2. Klik Otorisasi.

3. Berikan peran Dataproc Worker ke akun layanan default Compute Engine project, yang digunakan Managed Service untuk Apache Spark secara default seperti yang dijelaskan dalam Akun layanan Managed Service untuk Apache Spark.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member="serviceAccount:$(gcloud projects describe PROJECT_ID --format='value(projectNumber)')-compute@developer.gserviceaccount.com" \
       --role="roles/dataproc.worker"

4. Berikan peran Service Usage Consumer ke akun layanan default Compute Engine project.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member="serviceAccount:$(gcloud projects describe PROJECT_ID --format='value(projectNumber)')-compute@developer.gserviceaccount.com" \
       --role="roles/serviceusage.serviceUsageConsumer"

5. Berikan peran BigLake Editor ke akun layanan default Compute Engine project.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member="serviceAccount:$(gcloud projects describe PROJECT_ID --format='value(projectNumber)')-compute@developer.gserviceaccount.com" \
       --role="roles/biglake.editor"

6. Berikan peran BigQuery Data Editor ke akun layanan default Compute Engine project.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member="serviceAccount:$(gcloud projects describe PROJECT_ID --format='value(projectNumber)')-compute@developer.gserviceaccount.com" \
       --role="roles/bigquery.dataEditor"

   Ganti kode berikut:

   • PROJECT_ID: Project ID Google Cloud Anda

Membuat katalog runtime Lakehouse

Buat katalog runtime Lakehouse untuk mengelola metadata tabel Iceberg Anda.

1. Di Cloud Shell, jalankan perintah berikut untuk membuat multi-bucket (bl://) dengan penyediaan kredensial:

   gcloud biglake iceberg catalogs create LAKEHOUSE_CATALOG_ID \
       --project=PROJECT_ID \
       --catalog-type=biglake \
       --default-location=gs://BUCKET_NAME \
       --credential-mode=vended-credentials

   Ganti kode berikut:

   • LAKEHOUSE_CATALOG_ID: nama unik untuk katalog Anda.
   • PROJECT_ID: Google Cloud Project ID Anda.
   • BUCKET_NAME: nama bucket Cloud Storage yang berisi file aplikasi PySpark Anda.

2. Berikan izin pada bucket ke akun layanan katalog:

   1. Di konsol Google Cloud , buka Lakehouse.

      Buka Lakehouse

   2. Klik nama katalog yang baru saja Anda buat (LAKEHOUSE_CATALOG_ID).

   3. Di bagian Metode autentikasi, klik Setel izin bucket.

   4. Pada dialog, klik Konfirmasi. Tindakan ini memverifikasi bahwa akun layanan katalog Anda memiliki peran Pengguna Objek Penyimpanan di bucket Anda.

Membuat dan menjalankan tugas PySpark

Untuk membuat dan membuat kueri tabel Iceberg, pertama-tama buat tugas PySpark dengan pernyataan Spark SQL yang diperlukan. Kemudian, jalankan tugas dengan Managed Service untuk Apache Spark.

Buat skrip PySpark dengan namespace dan tabel

Di editor teks, buat file bernama quickstart.py dengan konten berikut.

Skrip PySpark ini menginisialisasi sesi Spark untuk melakukan beberapa operasi pada katalog Iceberg. Skrip pertama-tama membuat namespace, jika belum ada. Kemudian, perintah ini membuat tabel Iceberg bernama quickstart_table dengan skema dasar. Setelah tabel dibuat, skrip akan menyisipkan tiga baris data. Terakhir, kueri tabel untuk mengambil semua data yang dimasukkan.

Nilai ini kemudian digunakan pada langkah berikutnya saat Anda menjalankan tugas gcloud dataproc batches submit pyspark.

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("quickstart").getOrCreate()

# Create a namespace (dataset) if it doesn't exist
spark.sql("CREATE NAMESPACE IF NOT EXISTS `quickstart_catalog`.quickstart_namespace")

# Create the table
spark.sql("""
    CREATE OR REPLACE TABLE `quickstart_catalog`.quickstart_namespace.quickstart_table (
        id INT,
        name STRING
    )
    USING iceberg
""")

# Insert data into the table
spark.sql("""
    INSERT INTO `quickstart_catalog`.quickstart_namespace.quickstart_table
    VALUES (1, 'one'), (2, 'two'), (3, 'three')
""")

Upload skrip ke bucket Cloud Storage Anda

Setelah membuat skrip quickstart.py, upload skrip tersebut ke bucket Cloud Storage.

1. Di konsol Google Cloud , buka bucket Cloud Storage.

   Buka Bucket

2. Klik nama bucket Anda.

3. Di tab Objects, klik Upload > Upload files.

4. Di file browser, pilih file quickstart.py, lalu klik Open.

Jalankan tugas PySpark

Setelah mengupload skrip quickstart.py, eksekusi sebagai tugas batch Managed Service untuk Apache Spark.

1. Di Cloud Shell, jalankan tugas batch Managed Service untuk Apache Spark berikut menggunakan skrip quickstart.py.

   gcloud dataproc batches submit pyspark gs://BUCKET_NAME/quickstart.py \
       --project=PROJECT_ID \
       --region=REGION \
       --version=2.2 \
       --properties="\
   spark.sql.defaultCatalog=quickstart_catalog,\
   spark.sql.catalog.quickstart_catalog=org.apache.iceberg.spark.SparkCatalog,\
   spark.sql.catalog.quickstart_catalog.type=rest,\
   spark.sql.catalog.quickstart_catalog.uri=https://biglake.googleapis.com/iceberg/v1/restcatalog,\
   spark.sql.catalog.quickstart_catalog.warehouse=bl://projects/PROJECT_ID/catalogs/LAKEHOUSE_CATALOG_ID,\
   spark.sql.catalog.quickstart_catalog.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO,\
   spark.sql.catalog.quickstart_catalog.header.x-goog-user-project=PROJECT_ID,\
   spark.sql.catalog.quickstart_catalog.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager,\
   spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions,\
   spark.sql.catalog.quickstart_catalog.header.X-Iceberg-Access-Delegation=vended-credentials,\
   spark.sql.catalog.quickstart_catalog.gcs.oauth2.refresh-credentials-endpoint=https://oauth2.googleapis.com/token"

   Ganti kode berikut:

   • BUCKET_NAME: nama bucket Cloud Storage yang berisi file aplikasi PySpark Anda.

   • LAKEHOUSE_CATALOG_ID: nama katalog BigLake. Nama ini akan digunakan nanti saat Anda membuat kueri katalog di BigQuery, menggunakan sintaksis P.C.N.T. Contoh, my-project.biglake-catalog.quickstart_namespace.quickstart_table.

   • PROJECT_ID: Google Cloud Project ID Anda.

   • REGION: region untuk menjalankan workload batch Managed Service untuk Apache Spark.

   Setelah tugas selesai, output yang ditampilkan akan mirip dengan berikut ini:

   Batch [cb9d84e9489d408baca4f9e7ab4c64ff] finished.
   metadata:
   '@type': type.googleapis.com/google.cloud.dataproc.v1.BatchOperationMetadata
   batch: projects/your-project/locations/us-central1/batches/cb9d84e9489d408baca4f9e7ab4c64ff
   batchUuid: 54b0b9d2-f0a1-4fdf-ae44-eead3f8e60e9
   createTime: '2026-01-24T00:10:50.224097Z'
   description: Batch
   labels:
       goog-dataproc-batch-id: cb9d84e9489d408baca4f9e7ab4c64ff
       goog-dataproc-batch-uuid: 54b0b9d2-f0a1-4fdf-ae44-eead3f8e60e9
       goog-dataproc-drz-resource-uuid: batch-54b0b9d2-f0a1-4fdf-ae44-eead3f8e60e9
       goog-dataproc-location: us-central1
   operationType: BATCH
   name: projects/your-project/regions/us-central1/operations/32287926-5f61-3572-b54a-fbad8940d6ef
   

Menjalankan kueri pada tabel dari BigQuery

1. Di konsol Google Cloud , buka BigQuery.

   Buka BigQuery

2. Di editor kueri, masukkan pernyataan berikut. Kueri menggunakan sintaksis project.catalog.namespace.table.

   SELECT * FROM `PROJECT_ID.LAKEHOUSE_CATALOG_ID.quickstart_namespace.quickstart_table`;
   

   Ganti:

   • PROJECT_ID: Google Cloud Project ID Anda.

   • LAKEHOUSE_CATALOG_ID: ID katalog yang akan digunakan dalam kueri BigQuery.

3. Klik Run.

   Hasil kueri menampilkan data yang Anda sisipkan dengan tugas PySpark.