使用 Gemini 设计和优化集群

本文档介绍了如何通过提示 Gemini 来规划和设计集群。

Compute Advisor 是 Google Cloud 控制台中由 Gemini 提供支持的 AI 赋能界面，可帮助您评估硬件选项、估算部署费用，以及查看集群的推荐配置。 为了量身定制建议，Gemini 会通过检查您的配额限制、现有预留、承诺使用折扣 (CUD)、默认区域和可用区以及任何资源位置限制条件来评估您的 Google Cloud项目。借助 Gemini 规划，您可以在创建或修改集群之前，为工作负载找到最佳配置。

如需详细了解在创建集群之前或创建集群时必须配置的组件，请参阅部署方案概览。

限制

在 Google Cloud 控制台中向 Gemini 发出提示时，您无法使用 Gemini 创建、修改或删除资源。

准备工作

当您使用 Google Cloud 控制台访问 Google Cloud 服务和 API 时，无需设置身份验证。

所需的角色

如需获得访问 Gemini 并向其发出提示所需的权限，请让您的管理员为您授予项目的 Cluster Director Viewer (roles/hypercomputecluster.viewer) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色包含访问 Gemini 并向其发出提示所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需访问 Gemini 并向其提问，您需要具备以下权限：

  • 如需查看集群列表，请执行以下操作： hypercomputecluster.clusters.list

您也可以使用自定义角色或其他预定义角色来获取这些权限。

在 Google Cloud 控制台中访问 Gemini

如需在 Google Cloud 控制台中访问 Gemini，请完成以下步骤：

  1. 在 Google Cloud 控制台中，前往概览页面。

    转到“概览”页面

  2. 在使用 Compute Advisor 设计基础架构部分，点击开始新对话。

  3. 在 Compute Advisor 页面上，您可以查看以下内容：

    Compute Advisor 页面的屏幕截图以及构成该页面的界面元素。

    上图所示的界面元素如下：

    • “对话记录”侧边栏：显示您最近的对话。您可以按如下方式与此面板互动：

      • 如要发起新对话，请点击发起新聊天。

      • 如需继续最近的对话，请在最近的聊天部分中点击相应对话。

      • 如需查看所有对话的列表，请点击查看全部。在我的历史记录页面上，您可以查看过往对话的详细信息并继续对话，也可以删除不再需要的对话。

    • 快速操作提示卡片：一组卡片，每张卡片都包含一个提示示例。如果您点击某个卡片， Google Cloud 控制台会自动在提示框中填充示例提示。

    • 提示框：您可以在此字段中输入和提交提示。如需提交提示，请点击提交提示。

向 Gemini 发出提示

提交提示后，Gemini 会开始生成回答。系统会显示一个窗格， Google Cloud 控制台会在该窗格中显示对提示的回答，如以下屏幕截图所示：

提交提示后的 Compute Advisor 页面屏幕截图。

根据您的提示，回答窗格包含以下元素：

  • 情境接地：Gemini 会自动评估项目情境，以提供高度量身定制的建议，包括配额限制、现有预留、CUD、默认区域和可用区，以及任何资源位置限制。

  • 交互式代码段：Gemini 会生成 gcloud 命令、REST API 方法或 Terraform 资源。您可以复制并粘贴这些代码段，也可以在 Cloud Shell 中运行它们。

  • 可视化画布：Gemini 会将建议整理成结构化表格和并排比较。此视图有助于您评估产品功能和架构方法。它还可为您的使用场景提供实现方案。

以下部分概述了编写提示的最佳实践，以及在创建或修改集群之前可以使用的示例提示。

提示方面的最佳实践

为了让 Gemini 提供最准确且可据以采取行动的建议，我们建议您以与代码块相同的方式构建提示。这种方法通过使用清晰的形参声明、角色定义、具体说明和明确的输出格式来引导生成式 AI。

在向 Gemini 发出提示时，请考虑以下最佳实践：

  • 专注于设计和规划：我们建议您不要提示 Gemini 对集群错误进行问题排查。如需解决这些错误，请改为参阅排查创建、更新和删除计算实例时的问题。

  • 指定角色设定或角色：声明 Gemini 要扮演的目标角色或角色设定，例如 IT 管理员、AI 研究员或平台工程师。此方法可指导生成建议的语气、深度和专业程度。

  • 提供明确的编号指令：将目标分解为具体的、分步的问题或任务。这种方法可构建 Gemini 的推理过程，并有助于确保 Gemini 满足您的所有要求。

  • 定义特定的输出格式：明确说明您希望建议采用哪种格式，例如分步说明、Markdown 比较表或可直接使用的 gcloud 代码块。

  • 利用自动上下文接地：您无需在提示中包含默认区域或可用区、可用配额、CUD 或资源位置限制。Gemini 可以访问您 Google Cloud 项目中的这些信息。

  • 迭代式优化设计：您可以发送新提示来修改或扩展 Gemini 生成的回答。例如，您可以要求助理在部署方案中添加网络建议，或修改存储空间要求，而无需开始新的对话。

示例提示

以下是一些可用于帮助您设计和优化集群的提示示例：

  • 集群拓扑和放置策略：如需确定高性能 AI 工作负载的最佳部署模型和展示位置策略，请使用如下提示：

    Act as an AI researcher. I need to design a cluster topology in
Cluster Director for training a large language model that balances high
accelerator performance with guaranteed capacity.

Please provide the following:
1. A side-by-side comparison of deploying A3 Mega VMs across different
   regions.
2. An explanation of how topology-aware scheduling minimizes network
   latency.
3. The optimal reservation configuration for this training workload.

Format the comparison as a Markdown table, and provide the deployment steps
as a ready-to-use gcloud code block.

  • 配置模型和费用优化：如需评估配置模型并降低批处理费用，请使用如下提示：

    Act as an IT administrator. I need to find the cheapest way to run large,
interruptible batch jobs on our clusters in Cluster Director
without risking data loss.

Please provide the following:
1. A cost and reliability comparison of standard discounted VMs against
   Spot VMs.
2. An explanation of how to provision all our compute power at the exact
   same time.
3. A deployment script that gives our jobs a two-minute warning before a
   Spot VM gets reclaimed.

Format the comparison as a Markdown table, and provide the steps to take in
the Google Cloud console.

后续步骤