从 MySQL 导入元数据

本文档介绍了如何使用 Knowledge Catalog 连接器将元数据从 MySQL 导入 Knowledge Catalog（以前称为 Dataplex Universal Catalog）。

此连接器支持托管在本地、Cloud SQL 或其他云环境中的 MySQL 实例。

在从 MySQL 导入元数据之前，请完成以下任务：

1. 授予所需的角色和权限。
2. 启用 Knowledge Catalog 和 BigQuery Data Transfer Service API。
3. 满足 MySQL 前提条件。
4. 满足网络前提条件。

IAM 角色和权限

如需创建和管理知识目录连接器作业，您需要拥有 Identity and Access Management (IAM) 角色，该角色可授予知识目录和 BigQuery Data Transfer Service 的权限。

如需获得配置 MySQL 连接器所需的权限，请让管理员为您授予以下 IAM 角色：

• 如需创建和管理条目组，您需要拥有项目的 Dataplex Catalog Admin (roles/dataplex.catalogAdmin)、Dataplex Catalog Editor (roles/dataplex.catalogEditor) 或 Dataplex Entry Group Owner (roles/dataplex.entryGroupOwner) 角色。
• 如需创建和管理 BigQuery Data Transfer Service 转移作业，您需要拥有项目的 BigQuery Admin (roles/bigquery.admin) 角色。
• 如需在 Cloud Logging 中查看日志，请为项目授予 Logs Viewer (roles/logging.viewer) 角色。

此外，您还必须向 BigQuery Data Transfer Service 服务代理 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) 授予 dataplex.entryGroups.import 权限或 Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) 角色。您可以在项目级层或条目组级层授予此角色。

如需详细了解如何授予角色，请参阅管理访问权限。

启用 API

启用 Knowledge Catalog API 和 BigQuery Data Transfer Service API。

启用 API

MySQL 前提条件

确保您满足 MySQL 转移的前提条件。如需了解详情，请参阅 BigQuery Data Transfer Service 文档中的 MySQL 前提条件。

除了 BigQuery Data Transfer Service 的前提条件之外，您的 MySQL 数据库还必须满足以下元数据提取要求：

• 最低版本：MySQL 8.0 版或更高版本。
• 最低必需权限：提取工具需要特定权限才能成功查询 INFORMATION_SCHEMA 并收集元数据。

这些权限可确保以下元数据覆盖范围：

• 实例和数据库信息：主机名、端口、版本和架构配置。
• 表和列：核心结构、数据类型和操作元数据，例如大小和行数。
• 索引和分区：辅助索引、分区方法和表达式。
• 视图：虚拟表结构和定义。
• 例程：存储过程、函数及其参数。
• 限制条件：详细的主键、外键、唯一性限制条件和检查限制条件。
• 触发器：触发器定义和事件时间设置。

如需授予这些权限，请运行以下 SQL 脚本。

1. 创建用户：

   CREATE USER 'USERNAME'@'%'
   IDENTIFIED BY 'PASSWORD';
   

2. 授予元数据访问权限。您可以授予对单个目标数据库的访问权限，也可以授予对实例上所有数据库的访问权限。

   如需为单个目标数据库或架构授予访问权限，请执行以下操作：

   GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
   ON DATABASE_NAME.*
   TO 'USERNAME'@'%';
   

   或者，如需授予对实例中所有数据库的访问权限，请执行以下操作：

   GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
   ON *.*
   TO 'USERNAME'@'%';
   

3. 允许提取工具列出实例上的所有可用数据库：

   GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';
   

4. 应用更改：

   FLUSH PRIVILEGES;
   

替换以下内容：

• USERNAME：要配置的数据库用户。
• PASSWORD：数据库用户的密码。
• DATABASE_NAME：您要访问的 MySQL 数据库的名称。

网络前提条件

通过 Private Service Connect 进行连接时，需要使用网络连接，以便在专用网络中使用专用 IP 地址安全地连接到外部数据库或第三方云数据源，从而让 BigQuery Data Transfer Service 访问您的数据库。

如果您使用公共 IP 地址连接到本地环境或云托管实例，则不需要网络连接。

配置 MySQL 连接器

使用 Google Cloud 控制台或 API 配置 MySQL 连接器。

创建作业后，Knowledge Catalog 会根据您的配置安排首次运行，您也可以手动启动作业。

后续步骤

• 了解如何管理连接器作业。