הגדרת Lakehouse ללא גבולות ל-SAP Business Data Cloud

במאמר הזה נסביר איך להגדיר Lakehouse ללא גבולות כדי לשלוח שאילתות לנתונים ב-SAP Business Data Cloud ‏ (BDC) ישירות מתוךGoogle Cloud. כך משלבים מקורות נתונים חיצוניים עם סביבת Google Cloud קיימת.

סקירה כללית על השילוב של borderless Lakehouse עם SAP BDC זמינה במאמר מידע על שילוב SAP BDC.

לפני שמתחילים

  1. כדי להבין איך Lakehouse מנהל את הגישה לנתונים, כדאי לעיין בסקירה הכללית של Lakehouse.
  2. כדי להבין איך זה עובד, אפשר לקרוא את המאמר מידע על Lakehouse ללא גבולות.
  3. כדאי לעיין בקטלוגים נתמכים כדי לוודא שאתם עומדים בדרישות.
  4. צריך לוודא שלמנהל ה-SAP יש גישה לסביבת SAP BDC כדי להגדיר את אפליקציית BDC Connect.
  5. מוודאים שפרויקט היעד Google Cloud פועל ב-BigQuery Enterprise Plus edition.
  6. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  7. Verify that billing is enabled for your Google Cloud project.

  8. Enable the BigLake API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  9. Verify that billing is enabled for your Google Cloud project.

  10. Enable the BigLake API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    11.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להגדרת Lakehouse ללא גבולות, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

  • ניהול קטלוגים של Lakehouse: אדמין של BigLake (roles/biglake.admin) או אדמין של BigQuery (roles/bigquery.admin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מגבלות ושיקולים

בקטע הזה מפורטות המגבלות והשיקולים לשימוש ב-Lakehouse ללא גבולות.

  • טבלאות של שיתוף דלתא ב-SAP לא תומכות בבקרת גישה פרטנית (FGAC).
  • יכול להיות שתידרש הגדרה ספציפית של VPC או הוספה לרשימת ההיתרים, בהתאם להגדרות הרשת. הגדרות של VPC Service Controls זמינות במאמר הגדרת VPC Service Controls עבור SAP BDC.
  • אין תמיכה במוצרי נתונים עם תווים מיוחדים כמו / או -, והם לא יהיו זמינים ב-BigQuery גם אם הם ישותפו מ-SAP BDC ל-BigQuery. אם משתפים מוצר נתונים עם תווים מיוחדים, יכול להיות שהרענון ייכשל בצד של Google ויהיה צורך להירשם מחדש. מערכות SAP מוכרות שמפיקות את מוצרי הנתונים האלה כוללות מקורות BW ו-SuccessFactors.
  • עדכניות הנתונים: הדגל --refresh-interval בקטלוג המאוחד קובע את תדירות הסנכרון של המטא-נתונים. מרווח קצר יותר מספק נתונים עדכניים יותר, אבל עלול לגרום לעלויות נוספות ב-API של ספק הקטלוג המרוחק.
  • דיווח על מדדי Iceberg: דיווח על מדדי Iceberg לא זמין לקטלוגים מאוחדים. כשניגשים לקטלוג מאוחד, מגדירים את המאפיין rest-metrics-reporting-enabled לערך false בלקוח Iceberg.

תהליך עבודה כללי

כדי להגדיר ולהשתמש ב-Lakehouse ללא גבולות עם SAP BDC, פועלים לפי השלבים הבאים:

  • הגדרה של מהדורת Enterprise Plus: הפעלה של BigQuery Enterprise Plus כשמבצעים שאילתה במופע SAP BDC.
  • יצירת קטלוג Lakehouse: אדמין ב-BigQuery יוצר קטלוג ריק של Delta Sharing כדי להתחבר ל-SAP BDC.
  • מגדירים את המחבר ב-SAP for Me: אדמין SAP מקצה מופע של אפליקציית BDC Connect.
  • עדכון הקטלוג: כדי להשלים את תהליך הלחיצה, מוסיפים את נקודת הקצה ואת קוד ההזמנה לקטלוג של Lakehouse.
  • שיתוף מוצרי נתונים של SAP BDC: מנהל הנתונים של SAP משתף מוצרי נתונים ל-BigQuery.
  • שאילתת נתונים: אתם יכולים להריץ שאילתות על הנתונים המאוחדים באמצעות BigQuery.
  • הגדרת הרשאות: משתמשים בניהול הזהויות והרשאות הגישה (IAM) כדי לנהל את הגישה.

הגדרת מהדורת BigQuery Enterprise Plus

ההגדרה הזו מתבצעת פעם אחת ומאפשרת ל-BigQuery להריץ שאילתות במופע SAP BDC שלכם באמצעות Enterprise Plus.

יצירת בקשה לשמירת מקום ב-Enterprise Plus

  1. עוברים אל BigQuery.

    כניסה ל-BigQuery

  2. בתפריט הניווט, עוברים אל Administration (ניהול) > Capacity management (ניהול קיבולת).

  3. בשדה Reservation Name (שם ההזמנה), מזינים שם (לדוגמה, enterprise-plus-sap-res).

  4. לוחצים על הכרטיסייה Reservations ואז על Create Reservation.

  5. בשדה Location, בוחרים את האזור שבו הנתונים נמצאים. האזור הזה צריך להיות זהה לאזור שמשמש לקטלוג Lakehouse.

  6. בקטע מהדורה, בוחרים באפשרות Enterprise Plus.

  7. בקטע Slots (משבצות), מגדירים את האפשרויות הבאות:

    • כדי למנוע חיובים כשלא מתבצעות שאילתות על נתונים, צריך להגדיר את משבצות הזמן הבסיסיות לערך 0.
    • מפעילים את האפשרות שינוי גודל אוטומטי כדי לאפשר ל-BigQuery לשנות את גודל המשבצות לפי הצורך.

  8. לוחצים על Save.

הקצאת הפרויקט להזמנה

  1. בדף ניהול קיבולת, לוחצים על הכרטיסייה הקצאות.
  2. לוחצים על יצירת מטלה.
  3. בקטע בחירת משאב, בוחרים את הפרויקט, התיקייה או הארגון שבהם מופעלים העבודות ב-BigQuery.
  4. בקטע הזמנה, בוחרים את ההזמנה של Enterprise Plus שיצרתם.
  5. בקטע סוג העבודה, בוחרים באפשרות שאילתה.
  6. לוחצים על יצירה.

כדי לוודא זאת, בודקים את פרטי המשימה בהיסטוריית המשימות ב-BigQuery לגבי כל הפעלה של משימה בפרויקט הזה.

הגדרת איחוד

כדי לשלוח שאילתות לנתונים, צריך להגדיר קטלוג מאוחד של Lakehouse שמחובר לקטלוג SAP BDC המרוחק. הפעולה הזו תפעיל תהליך אימות שיגדיר יחסי אמון שבהם חשבון השירות של BigQuery ישמש כזהות של פרויקט Google Cloud .

יצירת קטלוג Lakehouse Delta Sharing

יוצרים קטלוג ריק של Delta Sharing באמצעות Google Cloud המסוף או gcloudCLI.

המסוף

  1. נכנסים לדף Lakehouse במסוף Google Cloud .

    מעבר אל Lakehouse

  2. בתפריט הניווט, לוחצים על Runtime catalog.

  3. לוחצים על יצירת קטלוג ובוחרים באפשרות קטלוג מאוחד.

  4. בקטע Catalog configuration (הגדרת קטלוג), מזינים את הפרטים הבאים:

    • בשדה מקור קטלוג מאוחד, בוחרים באפשרות SAP (Delta).
    • בשדה שם הקטלוג (ב-Lakehouse), מזינים שם לקטלוג.
    • בקטע Data location (מיקום הנתונים), בוחרים את האזור של Lakehouse.

  5. לוחצים על Continue.

  6. מאחזרים את Google Cloud מזהה חשבון השירות שמוצג בדף ומעבירים אותו לאדמין של SAP.

gcloud

  1. יוצרים קטלוג ריק של Delta Sharing:

    gcloud biglake delta-sharing catalogs create CATALOG_ID \
  --project="PROJECT_ID" \
  --location="REGION" \
  --refresh-interval="REFRESH_INTERVAL"

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CATALOG_ID: שם לקטלוג.
    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
    • ‫REGION: האזור של Lakehouse.
    • ‫REFRESH_INTERVAL: אופציונלי: מרווח הזמן לרענון המטא-נתונים מהקטלוג, שמוגדר כמחרוזת של משך זמן עם יחידות (לדוגמה, 5m ל-5 דקות, 300s ל-300 שניות או 1h לשעה אחת). אם לא מציינים ערך, מרווח הרענון מוגדר כברירת מחדל ל-5 דקות (5m או 300s).

  2. מאחזרים את Google Cloud מספר חשבון השירות כדי לספק אותו לאדמין ב-SAP:

    gcloud biglake delta-sharing catalogs describe CATALOG_ID \
    --project="PROJECT_ID"

הגדרת המחבר ב-SAP for Me

האדמין של SAP צריך להיכנס ל-SAP for Me ולהקצות מופע חדש של אפליקציית BDC Connect:

  1. מזינים את שם התצוגה.
  2. בוחרים או יוצרים קבוצת משאבים.
  3. הקצאת יחידות קיבולת של BDC.
  4. מזינים את מזהה חשבון השירות כמזהה מופע של מערכת חיצונית. Google Cloud
  5. בוחרים Region. האזור הזה צריך להיות זהה לאזור הליבה של BDC.
  6. לוחצים על סיום.

אחרי שהפעולה מסתיימת, עוברים לתצוגת פרטי הדייר. מעבירים את מצביע העכבר מעל הכפתור View Tenant Notifications (הצגת ההתראות של הדייר) כדי לקבל את Activation Link (קישור ההפעלה), שמכיל את SAP Connector Endpoint (נקודת הקצה של מחבר SAP) ואת SAP Invitation Code (קוד ההזמנה של SAP).

צריך להעביר את הפרטים האלה לאדמין של BigQuery.

מידע נוסף זמין במאמר Provisioning SAP Business Data Cloud Connect במסמכי העזרה של SAP.

עדכון הקטלוג עם פרטי ההרשמה ל-SAP

מעדכנים את הקטלוג כדי להשלים את הלחיצת יד באמצעות מסוף Google Cloud או gcloud CLI.

המסוף

  1. אם אתם לא נמצאים כבר בדף פרטי החיבור:

    1. נכנסים לדף Lakehouse במסוף Google Cloud .

      מעבר אל Lakehouse

    2. בתפריט הניווט, לוחצים על Runtime catalog.

    3. בוחרים את קטלוג SAP Delta Sharing כדי לפתוח את הדף פרטי הקטלוג.

    4. בבאנר, לוחצים על הוספת קטלוג.

  2. בקטע פרטי החיבור, מזינים את הפרטים הבאים:

    • בקטע Connector endpoint (נקודת קצה של מחבר), מזינים את כתובת ה-URL שסופקה על ידי האדמין של SAP.
    • בשדה קוד הזמנה, מזינים את הקוד שקיבלתם מהאדמין של SAP.

  3. לוחצים על Save.

gcloud 

gcloud biglake delta-sharing catalogs update CATALOG_ID \
    --project="PROJECT_ID" \
    --connector-endpoint="CONNECTOR_ENDPOINT" \
    --invitation-code="INVITATION_CODE" \
    --refresh-interval="REFRESH_INTERVAL"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CATALOG_ID: השם של הקטלוג.
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫CONNECTOR_ENDPOINT: כתובת ה-URL שסופקה על ידי האדמין של SAP.
  • ‫INVITATION_CODE: הקוד שסופק על ידי האדמין של SAP.
  • ‫REFRESH_INTERVAL: אופציונלי: מרווח הזמן לרענון המטא-נתונים מהקטלוג, שמוגדר כמחרוזת של משך זמן עם יחידות (לדוגמה, 5m ל-5 דקות, 300s ל-300 שניות או 1h לשעה אחת). אם לא מציינים ערך, מרווח הזמן לרענון המטא-נתונים ברקע הוא 5 דקות (5m או 300s).

שיתוף מוצרי נתונים של SAP BDC

מנהל הנתונים של SAP צריך להיכנס ל-SAP Business Data Cloud ולשתף מוצרי נתונים עבור BigQuery:

  1. מעיינים בקטלוג ובוחרים מוצר נתונים שאפשר לשתף.
  2. עוברים אל ה-API.
  3. לוחצים על שיתוף.
  4. לוחצים על Add Target (הוספת יעד) ובוחרים את מופע BDC Connect ל-Google BigQuery.
  5. לוחצים על שיתוף.

מוצר הנתונים המשותף ניתן לגילוי ב-Google BigQuery. מידע נוסף זמין במאמר בנושא עבודה עם מוצרי נתונים ב-SAP Business Data Cloud Connect במסמכי SAP.

המאמרים הבאים