Utilizzare Lakehouse senza bordi

Lakehouse per Apache Iceberg supporta l'esecuzione di query sui dati remoti tramite una configurazione Lakehouse senza limiti. Una volta configurato, il sistema supporta l'accesso ai dati utilizzando SQL standard in BigQuery, la versione open source di Apache Spark o Managed Service for Apache Spark. Oltre alle query analitiche, puoi utilizzare i dati federati per insight e governance basati sull'AI:

  • Analisi conversazionale: crea agenti specializzati basati sulle tue origini dati esatte, incluse le tabelle cross-cloud, per analizzare i dati su più cloud da un'unica conversazione.
  • Dataplex Catalog: utilizza le funzionalità di Knowledge Catalog per la profilazione e gli insight dei dati con le origini dati federate.

Per insight più approfonditi, puoi creare agenti specializzati basati sulle tue origini dati, da progetti, set di dati e tabelle a viste, grafici e funzioni definite dall'utente. Poiché i dati raramente si trovano in un unico posto, l'analisi conversazionale va oltre le tabelle BigQuery Standard e include le tabelle Apache Iceberg gestite da Lakehouse e le origini Lakehouse senza limiti come Databricks Unity, AWS Glue, SAP e Salesforce. In questo modo, puoi eliminare i silos di dati e analizzare i dati su più cloud da un'unica conversazione.

Questa pagina mostra come eseguire query sui dati remoti dopo aver configurato un Lakehouse senza limiti.

Prima di iniziare

Prima di poter eseguire query sui dati, devi completare le seguenti operazioni:

  1. Configura Lakehouse senza limiti per AWS Glue, Databricks Unity Catalog o Snowflake.
  2. Assicurati di avere dati nel catalogo remoto.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per eseguire query sui dati federati, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Esegui query sui dati

Dopo aver configurato la federazione, puoi eseguire query sui dati remoti utilizzando SQL standard in BigQuery o Apache Spark in Managed Service for Apache Spark.

Lakehouse gestisce la traduzione dei metadati e l'accesso sicuro ai dati, consentendoti di trattare le tabelle Apache Iceberg remote come se fossero locali al tuo Google Cloud ambiente.

Esegui query da BigQuery

Per eseguire query sulle tabelle Apache Iceberg federate, utilizza SQL BigQuery standard. Il percorso della tabella segue una struttura in 4 parti: project.federated_catalog.namespace.table. La memorizzazione nella cache, la distribuzione delle credenziali e il routing del transito CCI vengono gestiti automaticamente.

SELECT
  user_id,
  action,
  COUNT(*) as total_actions
FROM `PROJECT_ID.FEDERATED_CATALOG_NAME.NAMESPACE_NAME.TABLE_NAME`
WHERE event_date >= '2026-04-01'
GROUP BY 1, 2;

Sostituisci quanto segue:

  • PROJECT_ID: il tuo Google Cloud ID progetto.
  • FEDERATED_CATALOG_NAME: il nome del catalogo federato.
  • NAMESPACE_NAME: lo spazio dei nomi all'interno del catalogo.
  • TABLE_NAME: il nome della tabella.
  • REGION: la Google Cloud regione. Ad esempio, us-east4.

Puoi anche eseguire la query utilizzando lo strumento a riga di comando bq:

bq --location="REGION" --project_id="PROJECT_ID" query --use_legacy_sql=false \
  "SELECT * FROM \`PROJECT_ID.FEDERATED_CATALOG_NAME.NAMESPACE_NAME.TABLE_NAME\` LIMIT 10"

Esegui query da Managed Service for Apache Spark

Invia un workload batch PySpark a Managed Service for Apache Spark con la distribuzione delle credenziali abilitata utilizzando X-Iceberg-Access-Delegation=vended-credentials. Spark utilizzerà le credenziali distribuite con ambito di breve durata per connettersi a S3 in modo sicuro, senza dover gestire credenziali AWS o connettori S3 separati.

  1. Abilita la connettività in uscita per Managed Service for Apache Spark.

    Managed Service for Apache Spark non può connettersi ad AWS S3 con la configurazione di rete predefinita network configuration. Devi eseguire il provisioning di un router Cloud e di Cloud NAT.

    gcloud compute routers create lakehouse-router \
  --network=NETWORK_NAME \
  --region=REGION

gcloud compute routers nats create lakehouse-nat \
  --router=lakehouse-router \
  --auto-allocate-nat-external-ips \
  --nat-all-subnet-ip-ranges \
  --region=REGION

    Sostituisci quanto segue:

    • NETWORK_NAME: la rete per il workload batch Managed Service for Apache Spark (ad esempio, default).
    • REGION: la regione per il workload batch Managed Service for Apache Spark.

  2. Crea un file di applicazione PySpark ed esegui il job PySpark.

    from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("CATALOG_NAME").getOrCreate()

df = spark.table("CATALOG_NAME.NAMESPACE_NAME.TABLE_NAME")
df.show(10, truncate=False)

    Carica questo file in Cloud Storage in PYSPARK_FILE.

    gcloud dataproc batches submit pyspark PYSPARK_FILE \
    --project=PROJECT_ID \
    --region=REGION \
    --version=RUNTIME_VERSION \
    --properties="\
    spark.sql.defaultCatalog=CATALOG_NAME,\
    spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,\
    spark.sql.catalog.CATALOG_NAME.type=rest,\
    spark.sql.catalog.CATALOG_NAME.uri=https://biglake.googleapis.com/iceberg/v1/restcatalog,\
    spark.sql.catalog.CATALOG_NAME.warehouse=bl://projects/PROJECT_ID/catalogs/FEDERATED_CATALOG_NAME,\
    spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project=PROJECT_ID,\
    spark.sql.catalog.CATALOG_NAME.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager,\
    spark.sql.catalog.CATALOG_NAME.io-impl=IO_IMPL,\
    spark.sql.catalog.CATALOG_NAME.header.X-Iceberg-Access-Delegation=vended-credentials,\
    spark.sql.catalog.CATALOG_NAME.rest-metrics-reporting-enabled=false,\
    spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"

    Sostituisci quanto segue:

    • NAMESPACE_NAME: lo spazio dei nomi nel catalogo federato.
    • TABLE_NAME: il nome della tabella nel catalogo federato.
    • CATALOG_NAME: un nome per il catalogo Spark locale (ad esempio, my_catalog).
    • PYSPARK_FILE: il percorso gs:// di Cloud Storage per il file dell'applicazione PySpark.
    • REGION: la regione per il workload batch Managed Service for Apache Spark.
    • RUNTIME_VERSION: la versione del runtime di Managed Service for Apache Spark, ad esempio 2.3.
    • PROJECT_ID: il progetto a cui viene addebitato l'utilizzo dell'endpoint del catalogo REST Apache Iceberg.
    • FEDERATED_CATALOG_NAME: il nome del catalogo federato.
    • IO_IMPL: l'implementazione di FileIO corrispondente allo spazio di archiviazione sottostante.

    Parametri di configurazione di Spark

    La tabella seguente elenca i parametri comuni richiesti per tutte le connessioni:

    Parametro Descrizione
    spark.sql.defaultCatalog Il nome del catalogo predefinito (ad esempio, CATALOG_NAME).
    spark.sql.catalog.CATALOG_NAME La classe di implementazione del catalogo. Imposta su org.apache.iceberg.spark.SparkCatalog.
    spark.sql.catalog.CATALOG_NAME.type Il tipo di backend del catalogo. Imposta su rest per il catalogo REST Iceberg.
    spark.sql.catalog.CATALOG_NAME.uri L'URI dell'endpoint del catalogo REST. Imposta su https://biglake.googleapis.com/iceberg/v1/restcatalog.
    spark.sql.catalog.CATALOG_NAME.warehouse Il percorso della posizione del warehouse per il catalogo federato. Imposta su bl://projects/PROJECT_ID/catalogs/FEDERATED_CATALOG_NAME.
    spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project L'ID progetto Google Cloud utilizzato per la fatturazione e l'attribuzione delle quote. Imposta su PROJECT_ID.
    spark.sql.extensions Le estensioni della sessione Spark per la sintassi e le funzionalità SQL di Iceberg. Imposta su org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

    La tabella seguente elenca i parametri di autenticazione:

    Parametro Descrizione
    spark.sql.catalog.CATALOG_NAME.rest.auth.type La classe del gestore di autenticazione personalizzato. Imposta su org.apache.iceberg.gcp.auth.GoogleAuthManager per l'autenticazione del flusso OAuth.
    spark.sql.catalog.CATALOG_NAME.oauth2-server-uri L'URI dell'endpoint del server di token OAuth2. Imposta su https://oauth2.googleapis.com/token per l'autenticazione con token di accesso personale (PAT).
    spark.sql.catalog.CATALOG_NAME.token Il token di connessione (bearer) o il token di accesso personale (PAT). In genere, viene impostato su $(gcloud auth application-default print-access-token) per l'autenticazione PAT.

    La tabella seguente elenca i parametri univoci in base al fornitore di spazio di archiviazione (IO_IMPL):

    Archiviazione spark.sql.catalog.CATALOG_NAME.io-impl Note
    Amazon S3 org.apache.iceberg.aws.s3.S3FileIO Richiede la distribuzione delle credenziali (X-Iceberg-Access-Delegation=vended-credentials) se abilitata.
    Parametro aggiuntivo: spark.sql.catalog.CATALOG_NAME.s3.region (per un elenco delle regioni, vedi Endpoint e quote di Amazon S3).
    Google Cloud Storage org.apache.iceberg.gcp.gcs.GCSFileIO Parametro aggiuntivo: spark.sql.catalog.CATALOG_NAME.gcs.oauth2.refresh-credentials-endpoint=https://oauth2.googleapis.com/token.
    Azure Blob Storage org.apache.iceberg.azure.adlsv2.ADLSFileIO Non sono necessari parametri di archiviazione aggiuntivi.

    Per Snowflake, potresti riscontrare problemi durante l'esecuzione di query sulle colonne STRING perché vengono ottimizzate automaticamente per lo spazio di archiviazione. Puoi risolvere questo problema in due modi:

    • Opzione 1: disabilita la vettorizzazione in Spark: aggiungi le seguenti proprietà di configurazione di Spark al flag --properties:
    • spark.sql.iceberg.vectorization.enabled=false

    • spark.sql.catalog.CATALOG_NAME.table-override.read.parquet.vectorization.enabled=false

    • Opzione 2: modifica la policy di serializzazione in Snowflake: modifica la policy di serializzazione dello spazio di archiviazione in COMPATIBLE per la tabella in Snowflake.

Passaggi successivi