本文档介绍了如何使用 Knowledge Catalog 连接器将元数据从 SQL Server 导入 Knowledge Catalog(以前称为 Dataplex Universal Catalog)。
此连接器支持在本地、Cloud SQL 或其他云环境中托管的 SQL Server 实例。
准备工作
如需从 SQL Server 导入元数据,请先完成以下任务:
- 授予所需的 角色和权限。
- 启用 Knowledge Catalog 和 BigQuery Data Transfer Service API。
- 满足 SQL Server 前提条件。
- 满足网络前提条件。
IAM 角色和权限
如需创建和管理 Knowledge Catalog 连接器作业,您需要具有 Identity and Access Management (IAM) 角色,这些角色可授予 Knowledge Catalog 和 BigQuery Data Transfer Service 的权限。
如需获得配置 SQL Server 连接器所需的权限,请让您的管理员为您授予以下 IAM 角色:
- 如需创建和管理条目组:项目的 Dataplex Catalog Admin
(
roles/dataplex.catalogAdmin)、Dataplex Catalog Editor (roles/dataplex.catalogEditor) 或 Dataplex Entry Group Owner (roles/dataplex.entryGroupOwner)。 - 如需创建和管理 BigQuery Data Transfer Service 转移作业:BigQuery Admin
(
roles/bigquery.admin)。 - 如需在 Cloud Logging 中查看日志:项目的 Logs Viewer
(
roles/logging.viewer)。
此外,您还必须向 BigQuery Data Transfer Service 服务代理
(service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) 授予
dataplex.entryGroups.import 权限或 Dataplex Entry Group
Importer
(roles/dataplex.entryGroupImporter) 角色。您可以在项目级或条目组级授予此角色。
如需详细了解如何授予角色,请参阅管理 访问权限。
启用 API
启用 Knowledge Catalog 和 BigQuery Data Transfer Service API。
SQL Server 前提条件
确保您在 Microsoft SQL Server 数据库中拥有用户账号。如需了解 详情,请参阅创建具有 登录权限的用户。
您的 SQL Server 实例必须满足以下要求:
最低版本: Knowledge Catalog 支持 Microsoft SQL Server 14 (2017) 版或更高版本。
数据库用户: 确保您在 Microsoft SQL Server 数据库中拥有用户账号。如需了解详情,请参阅创建具有 登录权限的 用户。
最低权限: 您必须向数据库用户授予以下权限:
基本权限(所有配置都需要):
GRANT VIEW DATABASE STATE TO USER_NAME;访问特定架构的权限:
GRANT VIEW DEFINITION ON SCHEMA::TARGET_SCHEMA TO USER_NAME;访问所有其他架构的权限:
GRANT VIEW DEFINITION ON DATABASE::TARGET_DATABASE TO USER_NAME;替换以下内容:
USER_NAME:您要配置的数据库用户。TARGET_SCHEMA:您要访问的 SQL Server 架构的名称。TARGET_DATABASE:您要访问的 SQL Server 数据库的名称。
网络前提条件
如需通过 Private Service Connect 进行连接,您需要网络连接,以便在专用网络中使用 专用 IP 地址安全地 连接到外部数据库或第三方云数据源,从而允许 BigQuery Data Transfer Service 访问 您的数据库。
如果您使用公共 IP 地址连接到本地环境或云托管实例,则不需要网络连接。
配置 SQL Server 连接器
使用 Google Cloud 控制台或 API 配置 SQL Server 连接器。
控制台
在 Google Cloud 控制台中,前往 Knowledge Catalog 页面。
在导航菜单中的管理 部分,点击连接器 。
点击添加连接 。
在连接器 列表中,选择 SQL Server 卡片。
在数据源详细信息 部分,提供 SQL Server 实例的连接详细信息:
- 对于网络连接,请根据需要选择现有网络连接,或创建一个网络连接。
- 输入主机、端口、数据库名称、用户名和 密码。
- 如果使用 TLS,请选择 TLS 模式 并提供受信任的 PEM 证书 。
- 对于要导入的 SQL Server 元数据对象 ,点击浏览 以 选择对象。
在目标设置 部分中:
- 点击浏览 并选择现有的 Knowledge Catalog 条目组 以存储导入的元数据,或点击创建新条目组 。
- 选择是立即还是稍后设置条目组的权限。我们建议您设置权限,以便用户可以查看导入的元数据。如果您未在项目
级向 BigQuery Data Transfer Service 服务代理
(
service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) 授予 Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) 角色或 dataplex.entryGroups.import 权限,则必须在条目组级授予。
在连接器配置名称 部分的显示名称 中,输入元数据导入作业的名称 。
在时间表选项 部分,配置元数据导入作业的频率。如果您选择按需 ,则作业仅在您 手动触发时运行。
可选:在通知选项 部分,为作业失败配置电子邮件或 Pub/Sub 通知。
可选:在高级选项 部分,配置加密设置。如果您选择客户管理的加密密钥 (CMEK),请注意,该密钥用于加密在开始 Knowledge Catalog 元数据导入作业之前暂存的所有临时数据。它不用于加密目标 Knowledge Catalog 条目组中的元数据。
点击保存 。
REST
使用 projects.locations.transferConfigs.create
方法。在 TransferConfig
资源中,配置以下字段:
- 将
dataSourceId字段设置为"sqlserver"。 - 在
metadataDestination字段中,使用目标 Knowledge Catalog 条目组的资源路径填充dataplexConfiguration对象:projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>
创建作业后,Knowledge Catalog 会根据您的配置安排首次运行,您也可以手动启动作业。
后续步骤
- 了解如何管理连接器作业。