Analisar a segurança da IA

A Proteção para IA oferece ferramentas para visualizar o inventário de recursos de IA da sua organização, investigar descobertas de segurança e analisar as mitigações propostas para riscos e ameaças. Este guia descreve como gerenciar a segurança de IA usando o painel AI Security e a página "Recursos".

Antes de começar

Usar o painel AI Security

O painel AI Security permite visualizar o inventário de recursos de IA da sua organização e analisar as mitigações propostas para riscos e ameaças.

Acessar o painel AI Security

Para acessar o painel AI Security, no Google Cloud console, acesse a página Visão geral de riscos > Segurança de IA:

Acessar a segurança de IA

Para mais informações, consulte Painel AI Security.

Entender o gerenciamento de riscos para sistemas de IA

Esta seção identifica possíveis riscos para seus sistemas de IA, mostrando os principais riscos no inventário de IA.

Para ver uma visualização e detalhes de um problema específico, clique nele.

Ver ameaças de IA

Esta seção destaca as ameaças mais recentes aos seus recursos de IA.

Nesta seção, você pode fazer o seguinte:

  • Para ver todas as ameaças aos seus recursos de IA, clique em Ver tudo.
  • Para ver informações detalhadas sobre uma ameaça específica, clique nela.

Visualizar o inventário de IA

Esta seção oferece um resumo visual do inventário de recursos de IA, incluindo projetos que usam IA generativa, modelos ativos próprios e de terceiros e os conjuntos de dados usados para treinar modelos de terceiros.

Nesta seção, você pode fazer o seguinte:

  • Para ver detalhes sobre o inventário, clique em qualquer nó na visualização.
  • Para ver uma lista detalhada de recursos individuais (como modelos Gemini e modelos personalizados), clique na dica de ferramenta.
  • Para ver detalhes sobre um modelo, clique nele. Essa visualização mostra detalhes como os endpoints em que o modelo está hospedado e o conjunto de dados de treinamento. Se a Proteção de Dados Sensíveis estiver ativada, a visualização dos conjuntos de dados também indicará se o conjunto de dados contém dados sensíveis.

Analisar o resumo das descobertas da estrutura de IA

Esta seção ajuda a avaliar as descobertas geradas por políticas de segurança de IA e de segurança de dados. Ela inclui os seguintes cards:

  • Descobertas: esta seção mostra um resumo das descobertas geradas por políticas de segurança de IA e políticas de segurança de dados, como Gemini model detected e Gemini model not protected by Model Armor.

    • Para ver todas as descobertas, clique em Ver todas as descobertas.
    • Para ver as descobertas de uma categoria específica, clique na contagem de descobertas ao lado dessa categoria.
    • Para ver detalhes de uma descoberta individual, clique nela.

  • Dados sensíveis em conjuntos de dados da Vertex AI: mostra um resumo das descobertas relacionadas a dados sensíveis nos conjuntos de dados, conforme informado pela Proteção de Dados Sensíveis. Para mais informações, consulte Introdução à Gemini Enterprise Agent Platform.

Examinar as descobertas do Model Armor

Esta seção mostra um gráfico do número total de comandos e respostas verificados pelo Model Armor, além do número de problemas detectados. O gráfico também fornece estatísticas de resumo para tipos de problemas específicos, como injeção de comandos, tentativas de jailbreak e exposição de dados sensíveis.

Para cargas de trabalho de agentes, é possível configurar o Model Armor no Agent Gateway para verificar comandos e respostas de e para agentes.

Esse gráfico usa as métricas que o Model Armor publica no Cloud Monitoring. Para mais informações, consulte Visão geral do Model Armor.

Inspecionar recursos de IA

Além do painel AI Security, é possível inspecionar e consultar o inventário de recursos de IA da sua organização na página Recursos do Google Cloud console usando a guia Recursos de IA.

A guia Recursos de IA oferece uma visualização detalhada e filtrável dos sistemas e recursos de IA descobertos, incluindo o seguinte:

  • Modelos
  • Endpoints
  • Fontes de dados
  • Pipelines
  • Agentes
  • Servidores do Protocolo de Contexto de Modelo (MCP, na sigla em inglês)
  • Notebooks

Você pode usar a guia Recursos de IA para ajudar com o seguinte:

  • Entender o inventário de IA: confira listas abrangentes de recursos de IA ativos na sua organização, filtrados por projeto, local ou tipo de recurso.
  • Realizar investigações de segurança: examine os metadados completos, o histórico de alterações e as políticas do IAM associadas de recursos de IA específicos.
  • Examinar descobertas relacionadas: veja rapidamente todas as descobertas de segurança associadas a um recurso de IA específico para avaliar a exposição ao risco e determinar as etapas de correção necessárias.

Para mais informações sobre como visualizar e filtrar recursos de IA no console, consulte Inspecionar recursos monitorados pelo Security Command Center.

A seguir