גישה לנתוני Solr מ-AlloyDB ל-PostgreSQL

אתם יכולים לגשת לנתונים שמאוחסנים ב-Apache Solr ולחפש אותם באמצעות שילוב החיפוש החיצוני ב-AlloyDB Omni.

מגבלות

לפני שמחברים את AlloyDB ל-Solr, חשוב להביא בחשבון את המגבלות הבאות:

• שילוב של Solr זמין רק ב-PostgreSQL מגרסה 17 ואילך.

• ‫AlloyDB קורא נתונים של Solr, אבל לא כותב אותם.

• ‫AlloyDB לא יוצר אינדקס אוטומטי של נתוני מסד הנתונים ב-Solr. אתם אחראים לאכלוס האוספים של Solr ולשמירה על עקביות בין הנתונים ב-AlloyDB לבין הנתונים שעברו אינדוקס ב-Solr.

• סכימות לא מסתנכרנות אוטומטית עם Solr ב-AlloyDB. אם סכימת האוסף של Solr משתנה, צריך לעדכן ידנית את הסכימה של הטבלה החיצונית התואמת של PostgreSQL.

• בניגוד ל-Elasticsearch, ב-Solr אין שדות מוגדרים מראש מסוג JSON. חובה למפות את השדות מסוג JSON למחרוזות בפורמט TEXT או jsonb.

• כדי שהחלוקה לדפים ב-Solr תפעל בצורה תקינה, צריך להשתמש במפתח ייחודי בביטוי המיון. כברירת מחדל, המערכת משתמשת בשדה id. כשיוצרים את הטבלה החיצונית, אפשר לציין שדה מותאם אישית או רשימה מופרדת בפסיקים של כמה שדות, יחד עם סדר המיון של כל אחד מהם. לדוגמה, myid0 ASC, myid1 DESC, באמצעות האפשרות unique_key_sort_suffix.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את הפעולות הבאות:

• מוסיפים קישוריות של כתובת IP ציבורית יוצאת למכונה הראשית של AlloyDB.

• פריסה והפעלה של אשכול Solr עם כתובת URL ציבורית שניתן לגשת אליה.

• אחסון פרטי הכניסה של Solr ב-Secret Manager. באימות בסיסי, הערך של הסוד חייב להיות מחרוזת בקידוד Base64 בפורמט username:password.

• מוודאים שלחשבון השירות שבו משתמש AlloyDB יש את ההרשאה secretmanager.secretAccessor לקרוא את הסוד מ-Secret Manager.

הפעלה והגדרה של התוסף external_search_fdw

כדי להתחיל את השילוב עם Solr, צריך להגדיר גישה לאשכול Solr דרך שרת נתונים חיצוני.

CREATE EXTENSION external_search_fdw;

CREATE SERVER SOLR_SERVER_NAME
FOREIGN DATA WRAPPER external_search_fdw
OPTIONS (
  server 'SOLR_SERVER_HOST_PORT',
  search_provider 'solr',
  auth_mode 'secret_manager',
  auth_method 'AUTH_METHOD',
  secret_path 'SECRET_PATH'
);

מחליפים את המשתנים הבאים:

• SOLR_SERVER_NAME: השם של שרת הנתונים החיצוני. לדוגמה: solr.

• ‫SOLR_SERVER_HOST_PORT: כתובת URL שפונה לציבור של אשכול SOLR. לדוגמה: https://node1.solr.test.com:8983.

• ‫AUTH_METHOD: סוג האימות שרוצים להשתמש בו. לדוגמה, Basic.

• ‫SECRET_PATH: הנתיב ב-Secret Manager לפרטי הכניסה לאימות של Solr. לדוגמה, projects/123456789012/secrets/apikey/versions/1. ‫123456789012 מייצג את מזהה הפרויקט. Google Cloud

1. מגדירים את מיפוי המשתמשים ב-PostgreSQL לשרת Solr. שימו לב: כדי להשתמש ב-FDW של PostgreSQL, צריך למפות את המשתמשים. ב-AlloyDB, האימות מתבצע באמצעות כותרת ההרשאה של REST.

   CREATE USER MAPPING FOR CURRENT_USER
   SERVER SOLR_SERVER_NAME;
   

2. ממפים את הסכימה של אוסף Solr לטבלה חיצונית של PostgreSQL.

   CREATE FOREIGN TABLE SOLR_FD_TABLE(
       metadata external_search_fdw_schema.OpaqueMetadata,
       SOLR_FIELDS)
          SERVER SOLR_SERVER_NAME
          OPTIONS(
               remote_table_name 'SOLR_COLLECTION_NAME'
               unique_key_sort_suffix 'UNIQUE_KEY_SORT_SUFFIX'
          );
   

   מחליפים את המשתנים החדשים הבאים:

   • ‫SOLR_FD_TABLE: שם טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

   • ‫SOLR_FIELDS: רשימה מופרדת בפסיקים שבה כל רשומה היא בפורמט solr_field_name PG_DATA_TYPE. במאמר סוגי נתונים נתמכים תוכלו למצוא רשימה של סוגי הנתונים הנתמכים ב-Solr וסוגי הנתונים התואמים ב-PostgreSQL.

   • ‫UNIQUE_KEY_SORT_SUFFIX: (אופציונלי) שדה המפתח הייחודי ב-Solr, או רשימה מופרדת בפסיקים של כמה שדות עם סדר המיון שלהם, לדוגמה, myid0 ASC, myid1 DESC, שמשמשת להחלפה בין דפים. ברירת המחדל היא id.

   • ‫PG_DATA_TYPE: סוג ה-PostgreSQL שאליו רוצים למפות את הנתונים. דוגמאות נפוצות:

     • ‫TEXT לנתוני מחרוזות.
     • INTEGER לנתונים מספריים.

   • ‫SOLR_COLLECTION_NAME: השם של אוסף Solr. לדוגמה, my-solr-collection.

הפעלת שאילתות על נתוני Solr

‫AlloyDB מקבל שאילתות SQL וממיר אותן לשאילתות Solr REST API.

כדי לשלוח שאילתה לנתוני Solr, יש לכם את האפשרויות הבאות:

• שאילתות SQL סטנדרטיות
• Query DSL
• חיפושים היברידיים

שאילתות SQL סטנדרטיות

אפשר להשתמש ב-SQL סטנדרטי עם תחביר Lucene לביטוי החיפוש.

SELECT id, body
FROM SOLR_FD_TABLE
WHERE FILTER
ORDER BY metadata <@> 'QUERY';

מחליפים את המשתנים הבאים:

• ‫SOLR_FD_TABLE: שם טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

• (אופציונלי) FILTER: מסנן להחלה על שאילתת Solr. לדוגמה, AND qubits < 105.

• ‫QUERY: שאילתה לשליחה אל Solr. לדוגמה, body:database.

Query DSL

בתרחישי שימוש מתקדמים, משתמשים ב-Query DSL בסגנון JSON של Solr.

SELECT id, title
FROM SOLR_FD_TABLE
ORDER BY metadata <@> $${
  "query": "title:solr",
  "filter": ["category:software", "inStock:true"],
  "sort": "price desc"
}$$
LIMIT 1;

מחליפים את SOLR_FD_TABLE בשם של טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

חיפושים היברידיים

כדי לבצע חיפוש היברידי בנתוני Solr, מצטרפים לתוצאות של חיפוש טוקנים ב-Solr עם תוצאות של חיפוש וקטורי ב-AlloyDB.

SELECT *
FROM ai.hybrid_search(
  ARRAY[
    '{"limit": LIMIT,
      "weight": WEIGHT,
      "table_name": "SOLR_FD_TABLE",
      "key_column": "id",
      "query_text_input": "QUERY"}'::jsonb
  ])
ORDER BY score DESC;

מחליפים את המשתנים הבאים:

• ‫LIMIT: מספר התוצאות שיוחזרו. לדוגמה, 10.

• ‫WEIGHT: התרומה של רשומת החיפוש הזו ל-RRF הכולל. לדוגמה, 0.5.

• ‫SOLR_FD_TABLE: שם טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

• ‫QUERY: שאילתה לשליחה אל Solr. לדוגמה, ‫"solr_field_name:\"cloud databases\"" מחפש את הביטוי 'cloud databases' בשדה solr_field_name.