Exportar seus dados para o BigQuery

Esta página descreve como fazer upload de dados de produtos de varejo e eventos de usuários no BigQuery. Depois que os dados estiverem no BigQuery, você poderá usá-los para fazer previsões de vendas com a Vertex AI e visualizar os dados em painéis pré-criados do Looker.

Se os dados de comércio já estiverem em tabelas de produtos e eventos de usuários no BigQuery, no formato da AI Commerce Search, pule esta página e acesse diretamente Receber painéis que mostram indicadores de desempenho principais e Gerar previsões de vendas com dados de varejo data. Para mais informações sobre o formato, consulte Esquema de produtos e Sobre eventos de usuários.

Antes de começar

Antes de exportar os dados de comércio para o BigQuery, você precisa concluir os procedimentos em Configuração inicial.

Isso inclui:

Criar um conjunto de dados no BigQuery

Você precisa criar um ou dois conjuntos de dados no BigQuery para armazenar os dados de produtos e dados de eventos de usuários.

É possível usar um conjunto de dados para armazenar os dois tipos de dados ou criar dois conjuntos de dados, um para cada tipo.

Você precisa criar os conjuntos de dados no mesmo projeto em que implementou a AI Commerce Search.

  1. Se você nunca usou o BigQuery no seu projeto, ative a API BigQuery e verifique se você tem o papel do IAM que permite criar conjuntos de dados e tabelas.

    Consulte Antes de começar e Controle de acesso com o IAM na documentação do BigQuery.

  2. Crie um conjunto de dados no BigQuery na multirregião dos EUA. Por exemplo, nomeie-o como retail_data.

  3. Opcional: para colocar os dados de eventos de usuários em um conjunto de dados separado dos dados de produtos, crie um segundo conjunto de dados. Por exemplo, nomeie-o como retail_user_event_data.

Para mais informações sobre como criar conjuntos de dados do BigQuery, consulte a documentação do BigQuery.

Esse conjunto de dados será usado para armazenar as tabelas de dados que você exportar. Os procedimentos a seguir descrevem como exportar.

Exportar o catálogo da AI Commerce Search para uma tabela do BigQuery

Use o método export para exportar seu catálogo de varejo para uma tabela do BigQuery.

Antes de usar os dados da solicitação abaixo, faça estas substituições:

  • PROJECT_ID: o ID do projeto da API AI Commerce Search em que você criou o conjunto de dados do BigQuery.
  • BRANCH_ID: o ID da ramificação do catálogo. Use default_branch para receber dados da ramificação padrão. Para mais informações, consulte Ramificações do catálogo.
  • DATASET_ID: o nome do conjunto de dados que você criou em Criar um conjunto de dados no BigQuery. Por exemplo, use retail_data ou retail_product_data. O conjunto de dados precisa estar no mesmo projeto. Não adicione o ID do projeto ao campo datasetId aqui.
  • TABLE_ID_PREFIX: um prefixo para o ID da tabela. Esse prefixo não pode ser uma string vazia. Um sufixo de _retail_products_BRANCH_ID é adicionado para completar o nome da tabela. Por exemplo, se o prefixo for test, a tabela será nomeada como _test_retail_products_BRANCH_ID.

Corpo JSON da solicitação: 

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/BRANCH_ID/operations/17986570020347019923",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportProductsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_products_BRANCH_ID"
        }
      ]
    }
  }
}

Exportar eventos de usuários para uma tabela do BigQuery

Use o método userEvents.export para exportar seus eventos de usuários de varejo para uma tabela do BigQuery:

Antes de usar os dados da solicitação abaixo, faça estas substituições:

  • PROJECT_ID: o ID do projeto da API AI Commerce Search em que você criou o conjunto de dados do BigQuery.
  • DATASET_ID: o nome do conjunto de dados que você criou em Criar um conjunto de dados no BigQuery. Por exemplo, use retail_data ou retail_product_data.
  • TABLE_ID_PREFIX: um prefixo para o ID da tabela. Esse prefixo não pode ser uma string vazia. Um sufixo de retail_products é adicionado para completar o nome da tabela. Por exemplo, se o prefixo for test, a tabela será nomeadatest_retail_products.

Corpo JSON da solicitação: 

{
  "outputConfig":
  {
    "bigqueryDestination":
    {
      "datasetId": "DATASET_ID",
        "tableIdPrefix": "TABLE_ID_PREFIX",
        "tableType": "view"
    }
  }
}

Para enviar a solicitação, expanda uma destas opções:

Você receberá uma resposta JSON semelhante a esta:

{
  "name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/operations/17203443067109586170",
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.retail.v2alpha.ExportUserEventsResponse",
    "outputResult": {
      "bigqueryResult": [
        {
          "datasetId": "DATASET_ID",
          "tableId": "TABLE_ID_PREFIX_retail_user_events"
        }
      ]
    }
  }
}

Sobre os dados exportados

Confira algumas informações sobre os dados de comércio que você exporta para tabelas do BigQuery:

  • Os dados exportados para as tabelas do BigQuery no seu projeto são visualizações autorizadas, não materializadas.

  • Não é possível mudar ou atualizar os dados nessas tabelas.

  • Os produtos são atualizados a cada hora.

  • Os eventos do usuário são atualizados quase em tempo real.

Sobre os dados de eventos de usuários exportados

Confira algumas informações sobre os dados de produtos incluídos nos dados de eventos de usuários exportados.

Informações de preço do produto

A forma como as informações de preço do produto são retornadas pelo método userEvents.export depende do seguinte:

  • Você incluiu informações de preço nos dados de eventos de usuários no momento da ingestão. Quando você chama o método userEvents.export, o preço retornado com um evento de usuário é o preço do produto no momento do evento.

  • Você não incluiu informações de preço nos dados de eventos de usuários, mas incluiu informações de preço nos dados de produtos no momento da ingestão. Quando você chama o método userEvents.export, o preço retornado com um evento de usuário não é necessariamente o preço do produto no momento do evento. É o preço encontrado nos dados do produto no momento da ingestão.

  • Você não incluiu informações de preço nos dados de eventos de usuários e não há informações de preço disponíveis nos dados de produtos. Quando você chama o método userEvents.export, nenhum preço é retornado com eventos de usuários.

Outras informações do produto

Todas as informações do produto (exceto o preço) são unidas às informações de eventos de usuários no momento em que você chama o método userEvents.export. Os valores do produto podem mudar do momento do evento do usuário para o momento em que você chama userEvents.export. Por esse motivo, os valores de produtos não relacionados a preços retornados na tabela de eventos de usuários podem ser diferentes dos valores de produtos no momento do evento do usuário.

Opcional: confirmar se as novas tabelas estão no BigQuery

Depois de exportar os dados de produtos e eventos de usuários para o BigQuery, verifique se as novas tabelas estão presentes.

  1. No BigQuery, navegue até o conjunto de dados ou conjuntos de dados que você criou em Criar um conjunto de dados no BigQuery.

  2. Abra os conjuntos de dados e verifique se as duas tabelas exportadas aparecem. Por exemplo, procure tabelas com nomes que terminam em _retail_products_BRANCH_ID e retail_user_events.

Para mais informações sobre como trabalhar com tabelas do BigQuery, consulte Consultar e visualizar dados.

Consulte a página Governança de dados para mais informações sobre como a AI Commerce Search processa dados do cliente.