פתרון בעיות בפידים של שינויים במטא-נתונים

במסמך הזה מוסבר איך לפתור בעיות נפוצות שקשורות לעדכונים של מטא-נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog).

שגיאות ביצירת פידים של שינויים במטא-נתונים

בקטע הזה מוסבר איך לפתור שגיאות שעלולות להתרחש כשיוצרים פידים של שינויים במטא-נתונים.

שגיאות מסוג Permission denied

מופיעה שגיאת PERMISSION_DENIED כשמנסים ליצור פיד של שינויים במטא-נתונים.

הבעיה מתרחשת כי יכול להיות שחסרות לך או לחשבון השירות של Knowledge Catalog הרשאות נדרשות.

כדי לפתור את הבעיה, צריך לעיין בדרישות הבאות:

  • מוודאים שיש לכם הרשאה מסוג dataplex.metadataFeeds.create.

  • מוודאים שיש לכם הרשאת dataplex.entryGroups.export בהיקף של הפיד (ארגון, פרויקט או קבוצת רשומות).

  • מוודאים שלחשבון השירות של Knowledge Catalog ‏(service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) יש את התפקיד roles/pubsub.publisher בנושא היעד ב-Pub/Sub.

שגיאות ב-VPC Service Controls

מוצגת שגיאת PERMISSION_DENIED או שגיאה ב-VPC Service Controls כשיוצרים פיד.

כדי לפתור את הבעיה, צריך לוודא שפיד השינויים במטא-נתונים והמשאבים שהוא עוקב אחריהם שייכים לאותו גבול גזרה של VPC Service Controls:

  • אם הפיד מוגבל לארגון, המערכת תנטר רק פרויקטים שנמצאים באותו היקף.

  • אם הפיד הוא בהיקף הפרויקט או בהיקף קבוצת הרשומות, צריך לוודא שכל הפרויקטים או קבוצות הרשומות שצוינו נמצאים באותם גבולות גזרה כמו הפרויקט שבו יוצרים את הפיד.

בעיות בשליחת התראות

בקטע הזה מוסבר איך לפתור בעיות שקשורות למסירת התראות.

ההתראות לא מתקבלות

לא מתקבלות התראות בנושא Pub/Sub. יכולות להיות לכך כמה סיבות:

  • חסרות הרשאות: לחשבון השירות של Knowledge Catalog אין יותר את התפקיד roles/pubsub.publisher בנושא.

  • השהיה בהפעלה: יכולות לעבור עד 10 דקות עד שפיד חדש שנוצר או פיד קיים שעודכן יהפוך לפעיל.

  • הנושא נמחק: אם נושא היעד של Pub/Sub נמחק, Knowledge Catalog מפסיק לפרסם.

  • חוסר התאמה בהיקף או במסנן: יכול להיות שהשינויים לא תואמים להיקף או למסננים שהוגדרו.

כדי לפתור את הבעיה, צריך לבדוק את הפרטים הבאים:

  • מוודאים שלחשבון השירות של Knowledge Catalog מוקצה התפקיד roles/pubsub.publisher בנושא.

  • צריך להמתין לפחות 10 דקות אחרי שיוצרים או מעדכנים פיד.

  • בודקים אם נושא ה-Pub/Sub קיים. אם הוא נמחק, צריך ליצור אותו מחדש.

  • בודקים את הגדרת הפיד כדי לוודא שההיקף והמסננים תואמים לשינויים במטא-נתונים שאתם מצפים לקבל.

התראות כפולות

אתם מקבלים הודעות התראה כפולות. ב-Knowledge Catalog מובטחת מסירה של הודעה אחת לפחות, ולכן יכול להיות שיהיו הודעות כפולות, במיוחד במהלך ניסיונות חוזרים.

מגדירים את אפליקציית המינוי כך שתטפל בכפילויות פוטנציאליות. אתם יכולים להשתמש בשדה messageId או בחותמת הזמן של השינוי כדי לזהות הודעות ולבטל כפילויות.

בעיות בתוכן

בקטע הזה מוסבר איך לפתור בעיות בתוכן של התראות על שינויים בפיד המטא-נתונים.

חסרים מטא-נתונים מלאים במטען הייעודי (payload)

הודעת העדכון מכילה רק את שם המשאב ואת סוג השינוי, אבל לא את המטא-נתונים המלאים או את השינויים הספציפיים.

הסיבה לכך היא שבהתאם לעיצוב, ההתראות על שינויים בפיד המטא-נתונים מספקות 'חתימות שינוי' (מה השתנה) ולא את המטען הייעודי המלא. כך ההודעות יהיו קלות יותר ולא יחרגו ממגבלות הגודל של המטען הייעודי (payload).

משתמשים בשם המשאב שמופיע בהתראה כדי לקרוא ל-Dataplex API (לדוגמה, GetEntry) ולאחזר את המצב הנוכחי של המשאב.