במאמר הזה נסביר איך לתכנן ולעצב את האשכול באמצעות הנחיות ל-Gemini.
Compute Advisor הוא ממשק מבוסס-AI במסוף Google Cloud , שמבוסס על Gemini. הוא עוזר לכם להעריך אפשרויות חומרה, לאמוד את עלויות הפריסה ולראות המלצות להגדרות של האשכולות. כדי להתאים את ההמלצות, Gemini מעריך את הפרויקט שלכם על ידי בדיקת מגבלות המכסה, ההזמנות הקיימות, ההנחות תמורת התחייבות לשימוש (CUD), האזור ואזור הזמינות שמוגדרים כברירת מחדל וההגבלות על מיקום המשאבים. Google Cloud בעזרת Gemini, תוכלו לתכנן את התצורה האופטימלית של עומס העבודה לפני שתיצרו או תשנו אשכול.
כדי לקבל מידע נוסף על הרכיבים שצריך להגדיר לפני או במהלך יצירת אשכול, אפשר לעיין במאמר סקירה כללית של אפשרויות הפריסה.
מגבלות
כשמזינים הנחיה ל-Gemini במסוף Google Cloud , אי אפשר ליצור, לשנות או למחוק משאבים באמצעות Gemini.
לפני שמתחילים
כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי API, לא צריך להגדיר אימות.
התפקידים הנדרשים
כדי לקבל את ההרשאות שנדרשות לגישה ל-Gemini ולשימוש בו, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM Cluster Director Viewer (roles/hypercomputecluster.viewer) בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות כדי לגשת ל-Gemini ולתת לו הנחיות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לגשת ל-Gemini ולתת לו הנחיות, צריך את ההרשאות הבאות:
-
כדי לראות רשימה של אשכולות:
hypercomputecluster.clusters.list
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
גישה ל-Gemini במסוף Google Cloud
כדי לגשת אל Gemini במסוף Google Cloud :
במסוף Google Cloud , נכנסים לדף Overview.
בקטע Design your infrastructure with Compute Advisor (תכנון התשתית באמצעות Compute Advisor), לוחצים על Start a new chat (התחלת צ'אט חדש).
בדף Compute Advisor אפשר לראות את הפרטים הבאים:
רכיבי ממשק המשתמש שמוצגים בצילום המסך שלמעלה הם:
חלונית צדדית של היסטוריית השיחות: מציגה את הצ'אטים מהזמן האחרון. אפשר לבצע את הפעולות הבאות בחלונית הזו:
כדי להתחיל שיחה חדשה, לוחצים על צ'אט חדש.
כדי להמשיך שיחה מהזמן האחרון, לוחצים על השיחה בקטע שיחות מהזמן האחרון.
כדי לראות רשימה של כל השיחות, לוחצים על הצגת הכול. בדף ההיסטוריה שלי אפשר לראות את הפרטים של שיחות קודמות, להמשיך אותן או למחוק אותן אם הן כבר לא נחוצות.
כרטיסי הנחיות לפעולה מהירה: קבוצה של כרטיסים שכל אחד מהם מכיל הנחיה לדוגמה. אם לוחצים על כרטיס, תיבת הפרומפט במסוף Google Cloud מתמלאת באופן אוטומטי בהנחיה לדוגמה.
תיבת פרומפט: בשדה הזה אפשר להזין ולשלוח פרומפטים. כדי לשלוח הנחיה, לוחצים על שליחת הנחיה.
פרומפט ל-Gemini
אחרי ששולחים הנחיה, Gemini מתחיל ליצור תשובה. יופיע חלונית ובמסוף Google Cloud תוצג התשובה להנחיה בחלונית, כמו בצילום המסך הבא:
בהתאם להנחיה, חלונית התשובה כוללת את הרכיבים הבאים:
הארקה לפי הקשר: Gemini מעריך באופן אוטומטי את ההקשר של הפרויקט כדי לספק המלצות מותאמות אישית, כולל מגבלות מכסת השימוש, הזמנות קיימות, הנחות על שימוש מתמשך, האזור ואזור הזמינות שמוגדרים כברירת מחדל ומגבלות על מיקום המשאבים.
קטעי קוד אינטראקטיביים: Gemini יוצר פקודות gcloud, רכיבי method של API בארכיטקטורת REST או משאבי Terraform. אפשר להעתיק ולהדביק את קטעי הקוד האלה או להריץ אותם ב-Cloud Shell.
לוח ציור ויזואלי: Gemini מארגן את ההמלצות בטבלאות מובנות ובהשוואות זו לצד זו. התצוגה הזו עוזרת לכם להעריך את תכונות המוצר ואת הגישות הארכיטקטוניות. הוא גם מספק תוכנית הטמעה לתרחיש השימוש שלכם.
בקטעים הבאים מפורטות שיטות מומלצות לכתיבת הנחיות, וגם דוגמאות להנחיות שאפשר להשתמש בהן לפני שיוצרים או משנים אשכול.
שיטות מומלצות לכתיבת הנחיות
כדי לקבל מ-Gemini המלצות מדויקות ושימושיות, מומלץ להנחות אותו באותו אופן שבו יוצרים בלוק קוד. הגישה הזו מנחה את ה-AI הגנרטיבי באמצעות הצהרות ברורות על פרמטרים, הגדרות של תפקידים, הוראות ספציפיות ופורמטים ברורים של פלט.
כשמנסחים הנחיות ל-Gemini, כדאי לפעול לפי השיטות המומלצות הבאות:
מתמקדים בתכנון ובעיצוב: מומלץ לא להנחות את Gemini לפתור בעיות בשגיאות של אשכולות. כדי לפתור את השגיאות האלה, אפשר לעיין במאמר פתרון בעיות ביצירה, בעדכון ובמחיקה של מכונות וירטואליות.
מציינים תפקיד או פרסונה: מגדירים תפקיד או פרסונה ש-Gemini צריך לאמץ, כמו אדמין IT, חוקר AI או מהנדס פלטפורמה. הגישה הזו מכתיבה את הטון, העומק ורמת המומחיות של ההמלצות שמתקבלות.
נותנים הוראות מפורטות וממוספרות: מפרקים את המטרה לשאלות או למשימות קונקרטיות ומפורטות. הגישה הזו מארגנת את תהליך החשיבה של Gemini ועוזרת לו לוודא שהוא עונה על כל הדרישות שלכם.
הגדרת פורמט פלט ספציפי: מציינים במפורש איך רוצים שההמלצה תהיה מפורמטת, למשל הסבר מפורט, טבלת השוואה בפורמט Markdown או בלוק קוד gcloud מוכן לשימוש.
שימוש בהארקה אוטומטית של ההקשר: לא צריך לכלול בהנחיה את אזור ברירת המחדל, המכסות הזמינות, הנחות השימוש המחייב או מגבלות על מיקום המשאבים. Gemini יכול לגשת למידע הזה בפרויקט Google Cloud .
שיפור העיצובים באופן איטרטיבי: אתם יכולים לשנות או להרחיב את התשובה ש-Gemini יצר על ידי שליחת הנחיות חדשות. לדוגמה, אתם יכולים לבקש מהעוזר הדיגיטלי להוסיף המלצות לגבי רשת לתוכנית הפריסה שלכם או לשנות את דרישות האחסון בלי להתחיל שיחה חדשה.
פרומפטים לדוגמה
אלה דוגמאות להנחיות שאפשר להשתמש בהן כדי לעצב ולאחר מכן לבצע אופטימיזציה של האשכול:
טופולוגיית אשכולות ואסטרטגיית מיקום: כדי לקבוע את מודל הפריסה ומדיניות המיקום האופטימליים לעומס עבודה של AI עם ביצועים גבוהים, אפשר להשתמש בהנחיה כמו הבאה:
Act as an AI researcher. I need to design a cluster topology in Cluster Director for training a large language model that balances high accelerator performance with guaranteed capacity. Please provide the following: 1. A side-by-side comparison of deploying A3 Mega VMs across different regions. 2. An explanation of how topology-aware scheduling minimizes network latency. 3. The optimal reservation configuration for this training workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.מודל הקצאת משאבים ואופטימיזציה של עלויות: כדי להעריך מודלים של הקצאת משאבים ולהפחית את העלויות של עיבוד ברצף (batch processing), אפשר להשתמש בהנחיה כמו הבאה:
Act as an IT administrator. I need to find the cheapest way to run large, interruptible batch jobs on our clusters in Cluster Director without risking data loss. Please provide the following: 1. A cost and reliability comparison of standard discounted VMs against Spot VMs. 2. An explanation of how to provision all our compute power at the exact same time. 3. A deployment script that gives our jobs a two-minute warning before a Spot VM gets reclaimed. Format the comparison as a Markdown table, and provide the steps to take in the Google Cloud console.