Klaviyo 転送の概要
Klaviyo から BigQuery にデータを読み込むには、 BigQuery Data Transfer Service for Klaviyo コネクタを使用します。BigQuery Data Transfer Service を使用すると、Klaviyo から BigQuery に最新のデータを追加する定期的な転送ジョブのスケジュールを設定できます。
Klaviyo 転送のスケジュールを設定する方法については、Klaviyo データを BigQuery に読み込むをご覧ください。
制限事項
Klaviyo の増分転送には、次の制限があります。- ウォーターマーク列として選択できるのは
TIMESTAMP列のみです。 - 増分取り込みは、有効なウォーターマーク列があるアセットでのみサポートされます。
- ウォーターマーク列の値は単調に増加する必要があります。
- 増分転送では、ソーステーブルの削除オペレーションを同期できません。
- 1 つの転送構成でサポートできるのは、増分取り込みまたは完全取り込みのいずれかのみです。
- 最初の増分取り込みの実行後に、
assetリスト内のオブジェクトを更新することはできません。 - 最初の増分取り込みの実行後に、転送構成の書き込みモードを変更することはできません。
- 最初の増分取り込みの実行後に、ウォーターマーク列または主キーを変更することはできません。
- 宛先 BigQuery テーブルは、指定された 主キーを使用してクラスタ化され、クラスタ化テーブルの制限を受けます。
- 既存の転送構成を増分取り込みモードに初めて更新すると、その更新後の最初のデータ転送で、データソースから利用可能なすべてのデータが転送されます。以降の増分データ転送では、データソースの新しい行と更新された行のみが転送されます。
データの取り込みオプション
以降のセクションでは、Klaviyo データ転送を設定するためのデータの取り込みオプションについて説明します。
完全転送または増分転送
Klaviyo 転送を設定するときに、転送構成で [完全]または [増分]の書き込み設定を選択することで、BigQuery へのデータの読み込み方法を指定できます。増分転送は プレビューでサポートされています。
完全なデータ転送を構成すると、 データ転送ごとに Klaviyo データセットからすべてのデータを転送できます。または、データ転送ごとにデータセット全体を読み込むのではなく、最後のデータ転送以降に変更されたデータのみを転送するように、増分データ転送 (プレビュー) を構成することもできます。データ転送で [増分] を選択した場合は、[追加] または [Upsert] の書き込みモードを指定して、データの増分転送中に BigQuery にデータを書き込む方法を定義する必要があります。以降のセクションでは、使用可能な書き込みモードについて説明します。
[追加] 書き込みモード
[追加] 書き込みモードでは、宛先テーブルに新しい行のみが挿入されます。このオプションでは、既存のレコードをチェックせずに転送されたデータが厳密に追加されるため、このモードでは宛先テーブルでデータが重複する可能性があります。
[追加] モードを選択した場合は、ウォーターマーク列を選択する必要があります。Klaviyo コネクタがソーステーブルの変更を追跡するには、ウォーターマーク列が必要です。
Klaviyo 転送では、レコードが作成されたときにのみ更新され、以降の更新では変更されない列(CREATED_AT 列など)を選択することをおすすめします。
[Upsert] 書き込みモード
[Upsert] 書き込みモードでは、主キーを確認して、宛先テーブルの行を更新するか、新しい行を挿入します。主キーを指定すると、Klaviyo コネクタは、宛先テーブルをソーステーブルと同期するために必要な変更を特定できます。データ転送中に指定された主キーが宛先 BigQuery テーブルに存在している場合、Klaviyo コネクタはソーステーブルの新しいデータでその行を更新します。データ転送中に主キーが存在していない場合、Klaviyo コネクタは新しい行を挿入します。
[Upsert] モードを選択する場合は、ウォーターマーク列と主キーを選択する必要があります。
- Klaviyo コネクタがソーステーブルの変更を追跡するには、ウォーターマーク列が必要です。
- 行が変更されるたびに更新されるウォーターマーク列を選択します。
UPDATED_AT列やLAST_MODIFIED列に似た列をおすすめします。
- 行が変更されるたびに更新されるウォーターマーク列を選択します。
主キーは、行の挿入または更新が必要かどうかを Klaviyo コネクタが判断するために必要なテーブルの 1 つ以上の列です。
テーブルのすべての行で一意の null 以外の値を含む列を選択します。システムが生成した識別子、一意の参照コード(自動増分式の ID など)、不変の時間ベースのシーケンス ID を含む列をおすすめします。
データの損失や破損を防ぐため、選択する主キー列には一意の値が必要です。選択した主キー列の一意性に疑問がある場合は、代わりに [追加] 書き込みモードを使用することをおすすめします。
データ型マッピング
次の表に、Klaviyo のデータ型と対応する BigQuery のデータ型を示します。
| Klaviyo のデータ型 | BigQuery のデータ型 |
|---|---|
String |
STRING |
Text |
STRING |
Integer |
INTEGER |
Boolean |
BOOLEAN |
Date (YYYY-MM-DD HH:MM:SS) |
TIMESTAMP |
List |
ARRAY |
料金
この機能が プレビュー版の間は、Klaviyo データを BigQuery に転送する費用はかかりません。
次のステップ
- BigQuery Data Transfer Service の概要については、 BigQuery Data Transfer Service とはをご覧ください。