מעקב אחרי מדדים ואופטימיזציה של משאבי המשימות

במאמר הזה מוסבר איך לעקוב אחרי המשאבים של משימת אצווה ולנסות לייעל אותם באמצעות מדדים ב-Cloud Monitoring. במאמר משאבים של משימות אפשר לקרוא מידע נוסף על המשאבים שבהם מופעלת משימה.

לכל משימה, Monitoring מספק מדדים בסיסיים כמו ניצול המעבד ותנועה ברשת. עם זאת, אפשר לאסוף מדדים מסוימים, כמו זיכרון וניצול תהליכים, רק אם משימה מתקינה את סוכן התפעול. מדדים של משאבים של משימה עוזרים לכם להעריך את הביצועים ואת מידת הניצול של כל משאב. המידע הזה יכול לעזור לכם לזהות שיפורים לכל איטרציה עתידית של המשרה. לדוגמה, אתם יכולים להסיר משאבים שלא נעשה בהם שימוש כדי לבצע אופטימיזציה של העלויות, או לשפר או להגדיל משאבים שעומדים בעומס כדי לשפר את הביצועים.

לפני שמתחילים

  1. אם עוד לא השתמשתם ב-Batch, כדאי לעיין במאמר תחילת העבודה עם Batch ולהפעיל את Batch על ידי השלמת הדרישות המוקדמות לפרויקטים ולמשתמשים.
  2. אופציונלי: כדי לאסוף מדדים נוספים עבור משימה, יוצרים ומריצים משימה שמתקינה אוטומטית את סוכן תפעול.
  3. אם עדיין לא עשיתם את זה, מפעילים את Monitoring API בפרויקט:

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

    להפעלת ה-API

  4. כדי לקבל את ההרשאות שנדרשות להצגת מדדי יכולת הצפייה, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Monitoring Metric Viewer (roles/monitoring.metricViewer) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

    יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הצגת מדדים של משאבי משימות

בתיעוד של Compute Engine יש מידע רלוונטי על מדדים של מכונות וירטואליות, אבל מומלץ להשתמש בשיטות אחרות כדי לראות את המדדים של מכונות וירטואליות עבור משימות Batch. בפרט, במאמרי העזרה של Compute Engine מוסבר איך לראות מדדים באמצעות לוחות הבקרה המוגדרים מראש של Monitoring ל-Compute Engine או דפי Compute Engine במסוף Google Cloud . אבל חשוב לדעת שהשיטות האלה לא מציגות מידע על מכונות וירטואליות שנמחקו. לכן, אל תשתמשו בשיטות האלה אלא אם אתם רוצים לראות מדדים של משימות Batch בזמן שהן פועלות.

כדי לראות את המדדים של משימות Batch שפועלות ושל משימות Batch שהסתיימו, אפשר להשתמש בתרשימים של Metrics Explorer כמו שמוסבר בקטע הזה. חשוב לציין שטבלאות הן זמניות, אלא אם שומרים אותן במרכזי שליטה מותאמים אישית.

כדי ליצור תרשים להצגת מדד אחד או יותר:

  1. אופציונלי: אם אתם מתכננים לשמור את התרשים, מזהים או יוצרים מרכז בקרה מותאם אישית בשביל התרשים.

  2. איך יוצרים תרשים ב-Metrics Explorer למדד אחד או יותר

    ללא מסננים, כל מדד של מכונה וירטואלית בתרשים כולל נתונים מכל המכונות הווירטואליות בפרויקט. אם רוצים לסנן את התרשים כך שיכלול רק מדדים מכל המשימות או ממשימות ספציפיות של עיבוד באצווה, מוסיפים את המסנן הבא:

    group=RESOURCE_GROUP_NAME

    מחליפים את RESOURCE_GROUP_NAME בשם של קבוצת משאבים למשימות Batch. מידע נוסף מופיע במאמר הזה בקטע יצירת קבוצות משאבים לסינון מדדים.

יצירת קבוצות משאבים לסינון מדדים

אתם יכולים להשתמש בקבוצות משאבים כמסננים שניתנים להתאמה אישית לתרשימים ב-Metrics Explorer. כדי ליצור קבוצת משאבים לכל משימות Batch או למשימות ספציפיות בפרויקט:

  1. בוחרים תווית לשימוש כקריטריון לחברות בקבוצה, לפי המשרות שרוצים לכלול בקבוצה:

    • כל המשימות ב-Batch: אפשר להשתמש בתווית batch-node המוגדרת מראש, שמוחלת באופן אוטומטי על כל המשאבים של כל המשימות ב-Batch, והערך שלה הוא null.

    • משימות Batch ספציפיות: משתמשים בתווית שמוחלת על המשאבים רק למשימות Batch ספציפיות.

      לדוגמה, אם רוצים ליצור קבוצה על סמך שמות משרות מלאים או חלקיים, צריך להשתמש בשם התווית batch-job-id שהוגדר מראש עם ערך ספציפי. התווית batch-job-id מוחלת באופן אוטומטי על כל המשאבים של כל משימות Batch, ומוגדרת עם שם המשימה.

      לחלופין, אם משתמשים בתווית מותאמת אישית, צריך להחיל את התווית המותאמת אישית על כל המשאבים של משימות ה-Batch שרוצים לכלול בקבוצה כשיוצרים את המשימות.

  2. מוודאים שלפרויקט יש לפחות משימה אחת עם התווית שבחרתם, ושמשימה זו נמצאת במצב RUNNING. אחרת, התווית הזו לא תופיע כאפשרות כשמנסים ליצור את קבוצת המשאבים.

  3. יצירת קבוצת משאבים כשמציינים את הקריטריונים לחברות במועדון, צריך לפעול לפי השלבים הבאים:

    1. מגדירים את האפשרות סוג לתג.

    2. מגדירים את השדה Tag (תג) לשם התווית שנבחרה. לאחר מכן, מגדירים את השדות הבאים לפי ערכי התוויות שרוצים לכלול בקבוצה.

      לדוגמה, אם רוצים שהקבוצה הזו תכלול את כל עבודות ה-Batch, מגדירים את Tag ל-batch-node ואת Operator ל-Exists. לחלופין, אם רוצים שהקבוצה הזו תכלול משימות Batch עם שמות שמתחילים ב-test, מגדירים את Tag (תג) ל-batch-job-id, את Operator (אופרטור) ל-Starts with (מתחיל ב-) ואת Value (ערך) ל-test.

המאמרים הבאים