Importare metadati da PostgreSQL

Questo documento descrive come importare i metadati da PostgreSQL in Knowledge Catalog (in precedenza Dataplex Universal Catalog) utilizzando un connettore Knowledge Catalog.

Questo connettore supporta le istanze PostgreSQL ospitate on-premise, in Cloud SQL o in altri ambienti cloud.

Prima di iniziare

Prima di poter importare i metadati da PostgreSQL, completa le seguenti attività:

1. Concedi i ruoli e le autorizzazioni richiesti.
2. Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.
3. Soddisfa i prerequisiti di PostgreSQL.
4. Soddisfa i prerequisiti di networking.

Ruoli e autorizzazioni IAM

Per creare e gestire un job del connettore Knowledge Catalog, devi disporre dei ruoli Identity and Access Management (IAM) che concedono le autorizzazioni per Knowledge Catalog e BigQuery Data Transfer Service.

Per ottenere le autorizzazioni necessarie per configurare un connettore PostgreSQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Per creare e gestire i gruppi di voci: Dataplex Catalog Admin (roles/dataplex.catalogAdmin), Dataplex Catalog Editor (roles/dataplex.catalogEditor) o Dataplex Entry Group Owner (roles/dataplex.entryGroupOwner) nel progetto.
• Per creare e gestire i job di trasferimento di BigQuery Data Transfer Service: BigQuery Admin (roles/bigquery.admin) nel progetto.
• Per visualizzare i log in Cloud Logging: Visualizzatore log (roles/logging.viewer) nel progetto.

Inoltre, devi concedere all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) l' dataplex.entryGroups.importautorizzazione o il ruolo Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter). Puoi concedere questo ruolo a livello di progetto o di gruppo di voci.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso.

Abilita API

Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.

Abilita le API

Prerequisiti di PostgreSQL

Assicurati di soddisfare i prerequisiti per i trasferimenti PostgreSQL. Per i dettagli, consulta Prerequisiti di PostgreSQL nella documentazione di BigQuery Data Transfer Service.

Oltre ai prerequisiti di BigQuery Data Transfer Service, il database PostgreSQL deve soddisfare i seguenti requisiti per l'estrazione dei metadati:

• Versione minima: PostgreSQL versione 15 o successive.
• Autorizzazioni minime richieste: lo strumento di estrazione richiede autorizzazioni specifiche per raccogliere correttamente i metadati.

Per concedere queste autorizzazioni, esegui le seguenti istruzioni SQL:

1. Concedi la connessione al database:

   GRANT CONNECT ON DATABASE DATABASE_NAME TO USERNAME;
   

2. Concedi l'utilizzo dello schema:

   GRANT USAGE ON SCHEMA SCHEMA_NAME TO USERNAME;
   

3. Concedi i ruoli di lettura richiesti all'utente:

   GRANT pg_read_all_data TO USERNAME;
   GRANT pg_read_all_settings TO USERNAME;
   GRANT pg_read_all_stats TO USERNAME;
   

Sostituisci quanto segue:

• DATABASE_NAME: il nome del database PostgreSQL a cui vuoi accedere.
• USERNAME: l'utente del database che vuoi configurare.
• SCHEMA_NAME: il nome dello schema a cui vuoi accedere.

Prerequisiti di networking

È necessario un collegamento di rete per la connessione tramite Private Service Connect quando ti connetti in modo sicuro a database esterni o origini dati cloud di terze parti con un indirizzo IP privato all'interno di una rete privata, per consentire a BigQuery Data Transfer Service di accedere al tuo database.

Se ti connetti a un ambiente on-premise o a un'istanza ospitata nel cloud utilizzando un indirizzo IP pubblico, non è necessario un collegamento di rete.

Configura un connettore PostgreSQL

Configura un connettore PostgreSQL utilizzando la Google Cloud console o l'API.

1. Nel menu di navigazione, nella sezione Gestisci, fai clic su Connettori.
2. Fai clic su Aggiungi connessione.
3. Nell'elenco Connettori, seleziona la scheda PostgreSQL.
4. Nella sezione Dettagli origine dati, fornisci i dettagli della connessione per l'istanza PostgreSQL:
   • Per Collegamento di rete, seleziona un collegamento di rete esistente, se necessario, o creane uno.
   • Inserisci Host, Porta, Nome database, Nome utente e Password.
   • Se utilizzi TLS, seleziona una Modalità TLS e fornisci un Certificato PEM attendibile.
   • Per Oggetti metadati PostgreSQL da importare, fai clic su Sfoglia per selezionare gli oggetti.
5. Nella sezione Impostazioni di destinazione :
   • Fai clic su Sfoglia e seleziona un gruppo di voci di Knowledge Catalog esistente in cui archiviare i metadati importati oppure fai clic su Crea nuovo gruppo di voci.
   • Scegli se impostare le autorizzazioni per il gruppo di voci ora o in un secondo momento. Ti consigliamo di impostare le autorizzazioni in modo che gli utenti possano visualizzare i metadati importati. Se non hai concesso il ruolo Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) o l'autorizzazione dataplex.entryGroups.import all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a livello di progetto, devi concederlo a livello di gruppo di voci.
6. Nella sezione Nome configurazione connettore, per Nome visualizzato, inserisci un nome per il job di importazione dei metadati.
7. Nella sezione Opzioni di pianificazione, configura la frequenza per il job di importazione dei metadati. Se selezioni On demand, il job viene eseguito solo quando lo attivi manualmente.
8. (Facoltativo) Nella sezione Opzioni di notifica, configura le notifiche via email o Pub/Sub per gli errori dei job.
9. (Facoltativo) Nella sezione Opzioni avanzate, configura le impostazioni di crittografia. Se selezioni una chiave di crittografia gestita dal cliente (CMEK), tieni presente che la chiave viene utilizzata per criptare tutti i dati temporanei di cui è stato eseguito lo staging prima di avviare i job di importazione dei metadati di Knowledge Catalog. Non viene utilizzata per criptare i metadati nel gruppo di voci di Knowledge Catalog di destinazione.
10. Fai clic su Salva.

Dopo aver creato il job, Knowledge Catalog pianifica la prima esecuzione in base alla configurazione oppure puoi avviarla manualmente.

Passaggi successivi

• Scopri come gestire i job dei connettori.