Kafka Connect 是 Kafka 開發人員偏好的資料整合工具。 這個框架可將 Kafka 連接至資料庫、訊息佇列和檔案系統等外部系統。
Kafka Connect 提供精選的內建連接器外掛程式，並由 Google Cloud審查及維護。這些連接器外掛程式會自動修補及升級，簡化維護作業並確保相容性。Google Cloud 也提供內建的監控和記錄功能，可維護管道的健康狀態。
Kafka Connect API 是 Google Cloud Managed Service for Apache Kafka 服務的一部分。這些 API 可透過 managedkafka.googleapis.com 存取，並整合至 Google Cloud 控制台和用戶端程式庫。如要管理 Kafka Connect，可以使用 Google Cloud 控制台、gcloud CLI、Managed Kafka API、Cloud 用戶端程式庫或 Terraform。
Kafka Connect 用途
Kafka Connect 支援在 Managed Service for Apache Kafka 叢集與各種其他系統之間整合資料。以下是一些主要用途：
將現有的 Kafka 部署作業遷移至 Managed Service for Apache Kafka。
將 Managed Service for Apache Kafka 叢集複製到其他區域，以進行災難復原。
將資料從 Managed Service for Apache Kafka 串流至 BigQuery、Cloud Storage、Pub/Sub。
Connect 叢集
Connect 叢集是 Kafka Connect 的分散式部署項目，內含預先封裝的連接器外掛程式和設定。每個 Connect 叢集都會與一個主要 Managed Service for Apache Kafka 叢集相關聯。這個主要叢集會儲存 Connect 叢集上執行的連接器狀態。
一般來說，主要 Managed Service for Apache Kafka 叢集也會做為所有來源連接器的目標，以及在相關聯 Connect 叢集上執行的所有接收器連接器的來源。
單一 Managed Service for Apache Kafka 叢集可以有多個 Connect 叢集。如果執行 MirrorMaker 2.0，Connect 叢集可以連線至非主要 Managed Service for Apache Kafka 叢集或自行管理的 Kafka 叢集，讀取或寫入主題資料。這個程序可讓不同叢集之間複製主題。
就資源模型而言，Connect 叢集是與 Managed Service for Apache Kafka 叢集不同的資源。
假設您有一個 Managed Service for Apache Kafka 叢集，用於儲存網站流量資料。您想將這項資料串流至 BigQuery 進行分析。您可以建立 Connect 叢集，並使用 BigQuery 接收器連接器，將 Kafka 主題的資料移至 BigQuery。這個 Connect 叢集會與您的 Managed Service for Apache Kafka 叢集建立關聯，做為主要叢集。
連接器
連接器是軟體元件，負責在 Kafka 叢集和其他系統之間傳輸資料。
來源連接器會將來源資料寫入 Managed Service for Apache Kafka 叢集。
接收器連接器會將資料從 Managed Service for Apache Kafka 叢集寫入接收器。
連接器會在 Connect 叢集中部署、設定及管理。您可以啟動、停止、暫停及重新啟動作業，也可以更新作業設定。
如要進一步瞭解 Managed Service for Apache Kafka 支援的連接器類型，請參閱「連接器總覽」。
管理 Kafka Connect
有了 Kafka Connect，您就能專心部署連接器，而 Managed Service for Apache Kafka 則會處理基礎架構和運作複雜度。
Kafka Connect 服務會自動執行下列作業：
佈建 Kafka Connect worker：建立 Connect 叢集時，Kafka Connect 服務會自動在 Kubernetes 中佈建 worker 叢集。
網路：Kafka Connect 服務會設定網路，以便工作站、Managed Service for Apache Kafka 代理程式和外部系統之間進行通訊。在某些情況下，您可能需要變更現有的聯播網設定。
可用區復原能力：Kafka Connect 服務會將工作站分散到至少三個可用區，確保可用區發生中斷時，資料處理作業仍可繼續進行。
驗證：Kafka Connect 服務也會設定與 Kafka 代理程式的驗證，確保連線安全無虞。
發布和升級：Kafka Connect 服務會管理工作站設定變更、版本升級和安全性修補程式，確保部署項目一律為最新狀態。
在 Kafka Connect 服務中，您可以執行下列設定：
容量和網路限制：定義資源限制和網路設定，盡可能提高效能和成本效益。
監控和記錄：存取連結器的記錄和指標，監控效能及排解問題。
連接器生命週期管理：視需要暫停、繼續、重新啟動或停止連接器，以管理資料管道。
限制
主要 Kafka 叢集必須是 Managed Service for Apache Kafka 叢集。主要叢集是 Kafka Connect 叢集寫入中繼資料的叢集。
您無法將自訂連接器外掛程式上傳至 Kafka Connect 叢集。
服務不支援使用 Schema Registry 驗證遠端結構定義。