Configurar um destino do BigQuery

Esta página descreve como configurar o Datastream para gravar dados em conjuntos de dados do BigQuery.

Permissões necessárias

O Datastream usa o suporte integrado do BigQuery para atualizações de captura de dados alterados (CDC). O Datastream atualiza as tabelas do BigQuery processando e aplicando as mudanças transmitidas usando a API BigQuery Storage Write (gRPC).

As permissões necessárias para usar a API e ingerir dados no BigQuery são concedidas ao papel de agente de serviço do Datastream.

Configurar o BigQuery como um destino

Para configurar o Datastream para streaming no BigQuery, siga estas etapas:

  1. Verifique se a API BigQuery está ativada no seu Google Cloud projeto.
  2. Se você quiser usar a opção Conjunto de dados único para todos os esquemas, crie um conjunto de dados no BigQuery.
  3. Configure o conjunto de dados de destino para seu stream.
  4. Configure o modo de gravação.
  5. Especifique o limite máximo de desatualização de dados para seu stream.

Configurar os conjuntos de dados de destino

Conjuntos de dados são contêineres de nível superior usados na organização e no controle de acesso às suas tabelas do BigQuery.

Ao configurar conjuntos de dados para o destino do BigQuery usando o Datastream, você pode selecionar uma das seguintes opções:

  • Conjunto de dados para cada esquema: o conjunto de dados é selecionado ou criado automaticamente pelo Datastream no local do BigQuery especificado, com base no nome do esquema da origem. Como resultado, cada esquema na origem tem um conjunto de dados correspondente no BigQuery. Por exemplo, se você tiver uma origem do MySQL e ela tiver um banco de dados mydb e uma tabela employees dentro do banco de dados, o Datastream criará o conjunto de dados mydb e a tabela employees no BigQuery.

    O Datastream cria conjuntos de dados no projeto selecionado. Por padrão, seu projeto atual está selecionado. A lista de conjuntos de dados mostra os conjuntos de dados disponíveis no projeto selecionado. Embora não seja necessário criar os conjuntos de dados na mesma região do stream, recomendamos manter todos os recursos do stream, bem como os conjuntos de dados, na mesma região para otimizar custos e desempenho.

  • Conjunto de dados único para todos os esquemas: você seleciona um conjunto de dados do BigQuery para o stream. O Datastream transmite todos os dados para esse conjunto de dados. Para o conjunto de dados selecionado, o Datastream cria todas as tabelas como <schema>_<table>.

    Por exemplo, se você tiver uma origem do MySQL e ela tiver um mydb banco de dados e uma tabela employees dentro do banco de dados, o Datastream criará a tabela mydb_employees no conjunto de dados que você selecionar.

    É possível selecionar um conjunto de dados de qualquer Google Cloud projeto. Por padrão, os conjuntos de dados do projeto atual são mostrados. Também é possível criar um conjunto de dados no projeto selecionado.

Configurar modo de gravação

Há dois modos que podem ser usados para definir como você quer que os dados sejam gravados no BigQuery:

  • Mesclar: esse é o modo de gravação padrão. Quando selecionado, o BigQuery reflete a maneira como os dados são armazenados no banco de dados de origem. Isso significa que o Datastream grava todas as mudanças nos dados no BigQuery, e o BigQuery consolida as mudanças com os dados atuais, criando tabelas finais que são réplicas das tabelas de origem. Com o modo de mesclagem, nenhum registro histórico dos eventos de mudança é mantido. Por exemplo, se você inserir e atualizar uma linha, o BigQuery só manterá os dados atualizados. Se você excluir a linha da tabela de origem, o BigQuery não manterá mais nenhum registro dessa linha.

  • Somente anexar: o modo de gravação somente anexar permite adicionar dados ao BigQuery como um stream de mudanças (INSERT, UPDATE-INSERT, UPDATE-DELETE e DELETE eventos). Use esse modo quando precisar manter o estado histórico dos dados.

    Para entender melhor o modo de gravação somente anexar, considere os seguintes cenários:

    • Preenchimento inicial: após o preenchimento inicial, todos os eventos são gravados no BigQuery como eventos do tipo INSERT, com o mesmo carimbo de data/hora, identificador universalmente exclusivo (UUID) e número de sequência de mudanças.
    • Atualização da chave primária: quando uma chave primária muda, duas linhas são gravadas no BigQuery:
      • Uma linha UPDATE-DELETE com a chave primária original
      • Uma linha UPDATE-INSERT com a nova chave primária
    • Atualização de linha: quando você atualiza uma linha, uma única linha UPDATE-INSERT é gravada no BigQuery
    • Exclusão de linha: quando você exclui uma linha, uma única linha DELETE é gravada no BigQuery

Especificar o limite de desatualização de dados

O BigQuery aplica modificações de origem em segundo plano de maneira contínua ou no ambiente de execução da consulta, de acordo com o limite de desatualização de dados configurado. Quando o Datastream cria uma nova tabela no BigQuery, a opção max_staleness da tabela é definida de acordo com o valor atual do limite de desatualização de dados para o stream. Isso garante que a tabela nunca exceda o limite de desatualização aplicado. O limite de desatualização de dados não afeta a frequência dos jobs de mesclagem do BigQuery.

Para mais informações sobre como usar tabelas do BigQuery com a opção max_staleness, consulte Desatualização de tabelas.