データベース コネクタについて

このドキュメントでは、Knowledge Catalog（以前の Dataplex Universal Catalog）コネクタを使用して、外部のサードパーティ データソースから Knowledge Catalog にメタデータをインポートする方法について説明します。

Knowledge Catalog コネクタは、BigQuery Data Transfer Service を活用して、ソースシステムからメタデータを自動的に抽出し、Knowledge Catalog エントリ グループ内のエントリにマッピングする事前構築済みの統合を提供します。

コネクタは次の種類のメタデータを抽出します。

  • テクニカル メタデータ: データベース、スキーマ、テーブル、ビューの定義。
  • 運用メタデータ: テーブル、ビュー、ルーティンなどのアセットの作成タイムスタンプと最終更新タイムスタンプ。
  • ビジネス メタデータ: アセット オーナーとアノテーション。

コネクタを構成すると、Knowledge Catalog は指定したスケジュールでメタデータ インポート実行をスケジュールし、カタログとソースシステムの同期を維持します。

サポートされるデータソース

Knowledge Catalog コネクタを使用して、次のソースからメタデータをインポートできます。

  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

データ ガバナンス パートナーとの統合

Knowledge Catalog は、他のエンタープライズ データ カタログとガバナンス プラットフォームと統合できます。これらの統合により、組織のデータ ランドスケープ全体でメタデータを検出可能にし、一貫性を保つことができます。これにより、Knowledge Catalog でメタデータを拡充したり、サードパーティ製ツール内で Knowledge Catalog のメタデータを表示したりできます。

次のパートナーは、Knowledge Catalog の統合を提供しています。

仕組み

Knowledge Catalog コネクタは、BigQuery Data Transfer Service によって管理される転送構成を使用してデータソースに接続し、メタデータを抽出して、指定した Knowledge Catalog エントリ グループに取り込みます。

メタデータのインポート実行が行われるたびに、その構成で管理されている宛先エントリ グループのエントリの完全な上書きが行われます。ソースに存在しなくなったメタデータ オブジェクトはエントリ グループから削除され、新しいオブジェクトが追加されます。コネクタ構成でインポートされなかったエントリ グループ内のオブジェクトは影響を受けません。

これらの構成は、 Google Cloud コンソールの Knowledge Catalog セクションの [コネクタ] ページで構成および管理します。

用語

このドキュメントでは、次の用語を使用します。

  • メタデータ インポート構成: BigQuery Data Transfer Service を使用してソースからメタデータを抽出し、Knowledge Catalog に読み込むスケジュール設定されたタスクまたはオンデマンド タスクの設定。
  • 実行: メタデータ インポート構成の単一の実行インスタンス。
  • エントリ グループ: メタデータ エントリを含む Knowledge Catalog のリソース。コネクタを構成するときに、インポートされたメタデータの宛先としてエントリ グループを指定します。
  • エントリ: テーブルやビューなどのデータアセットを表す Knowledge Catalog のリソース。

料金

コネクタを使用してメタデータをインポートする場合、Knowledge Catalog または BigQuery Data Transfer Service から追加料金は発生しません。

他の Knowledge Catalog の使用（メタデータ ストレージなど）には標準料金が適用されます。詳細については、Knowledge Catalog の料金をご覧ください。

制限事項

  • インポートされるのはメタデータのみで、ソーステーブルまたはビューの基になるデータはインポートされません。基盤となるデータを転送するには、BigQuery Data Transfer Service を使用します。
  • 各実行では、宛先エントリ グループ内のコネクタ管理エントリが完全に上書きされます。増分メタデータの更新は対象外です。
  • 実行履歴は 90 日間保持されます。

次のステップ