523: OpenSearch עם דותן מ-AWS

523: OpenSearch עם דותן מ-AWS

בפרק 523 של רברס עם פלטפורמה, אורי להב ורן תבורי מארחים את דותן הורוביץ מ-AWS לשיחת עומק מרתקת על עולם החיפוש המודרני. יחד הם צוללים אל מאחורי הקלעים של פרויקט הקוד הפתוח OpenSearch, מבינים את ההבדלים בין חיפוש לקסיקלי לסמנטי, ומגלים איך בינה מלאכותית ו-Agents משנים לחלוטין את הדרך שבה אנחנו שולפים מידע.

[00:20] היכרות עם דותן ואסטרטגיית ה-Open Source ב-AWS

  • היכרות עם דותן הורוביץ, שמוביל את תחום ה-Open Source גלובלית ב-AWS.
  • הצוות מתעסק באסטרטגיית קוד פתוח (Inbound ו-Outbound), תרומה לפרויקטים, וקרדיטים לקהילה ול-Foundations.
  • הפרויקטים הבולטים כוללים את OpenSearch וכן את Valkey (שהתחיל כפורק של Redis).

[03:46] מה זה בעצם OpenSearch ולמה לעשות Fork?

  • OpenSearch הוא לא רק מוצר, אלא פרויקט קוד פתוח רשמי תחת ה-Linux Foundation (Top level project).
    • מנוהל על ידי Governing Board של חברות כמו IBM, Intel, SAP ו-Uber, מה שמבטיח שלא יהיה נשלט בלעדית על ידי חברה אחת.
  • הרקע להקמת הפרויקט: בשנת 2021, חברת Elastic החליטה לשנות את רישיון הקוד הפתוח (Apache 2.0) של ElasticSearch לרישיון מסחרי סגור יותר (SSPL).
    • הצעד הזה, שמכונה “Rug pulling” (משיכת השטיח מתחת לרגליים), הוביל את הקהילה לייצר Fork כדי לשמור על הפרויקט פתוח באמת.
    • השיעור החשוב: בבחירת פרויקט Open Source, אסור להסתכל רק על הרישיון, אלא גם על ה-Sustainability והמודל העסקי מאחוריו (Vendor-owned vs. Foundation-owned).
  • שימושים נפוצים (Use cases):
    • Observability (לוגים, ניטור, APM, Tracing).
    • מנוע חיפוש מתקדם (לקסיקלי, סמנטי והיברידי).
    • Vector Database שמגיע Out of the box.

[12:05] חיפוש לקסיקלי (Lexical Search)

  • חיפוש המבוסס על התאמת Keywords ומילים (Tokens).
  • מצוין לחיפושים מדויקים שבהם אנחנו יודעים בדיוק מה אנחנו מחפשים ורוצים אפס אינטרפרטציות (למשל: חיפוש כתובת IP ספציפית, מק”ט או שם מותג כמו “נייקי” מול “ריבוק”).
  • כולל יכולות מתקדמות של Full text search כמו Stemming (הבנת הטיות של פעלים: “רץ”, “רצתי”, “רצים”) וסינון לפי טווחים נומריים (Facets).
  • איך מסיקים רלוונטיות?
    • מנגנון הדירוג משתמש באלגוריתמים קלאסיים כמו TF-IDF ו-BM25, שבודקים כמה פעמים המילה מופיעה במסמך ביחס לגודלו ולכמות המסמכים הכללית.
    • המנוע הלקסיקלי של OpenSearch מבוסס על ספריות Apache Lucene.

[20:50] חיפוש סמנטי (Semantic Search)

  • בניגוד לחיפוש לקסיקלי, בחיפוש סמנטי אנחנו מחפשים על גבי ייצוג וקטורי (Embeddings) במרחב רב-מימדי.
    • Embedding model (רשת נוירונים) הופך טקסט או דאטה אחר למערך של אלפי מספרי Floating points (וקטורים).
    • פריטים שקרובים במשמעותם הסמנטית “ישבו” קרוב אחד לשני במרחב (למשל, נעלי אדידס וריבוק, גם אם המילים עצמן שונות לחלוטין).
  • היציאה מגבולות הטקסט: מודלים שהם Multi-modal מאפשרים לאנדקס ולחפש לא רק טקסט אלא גם תמונות, קול, וידאו ואפילו קבצי PDF שמכילים שילוב של טבלאות, דיאגרמות וטקסט.
  • האתגר ההנדסי בשליפה של וקטורים:
    • אלגוריתם KNN (K-Nearest Neighbors) קלאסי רץ ב-Brute force על כל הווקטורים ומחשב מרחקים, מה שלא סקיילבילי בעליל.
    • הפתרון בתעשייה הוא שימוש באלגוריתמים מסוג ANN (Approximated KNN) כמו HNSW ו-IVF כדי לשפר ביצועים תוך התפשרות קלה על דיוק.
    • מתקיים כל הזמן טרייד-אוף בין Recall (אחוז התוצאות הנכונות מכלל המידע שהבאנו) ל-Precision (כמה מתוך מה שהבאנו הוא רעש).

[35:50] חיפוש היברידי (Hybrid Search) ודירוג מחדש (Re-ranking)

  • שילוב של חיפוש לקסיקלי וסמנטי באותה שאילתה כדי לתת מענה מיטבי לכוונת המשתמש.
  • האתגר הגדול: נורמליזציה. צריך לחבר ציונים (Scores) שמגיעים משני מנועים ומרחבים שונים לחלוטין ולהפיק רשימת תוצאות אחת קוהרנטית (Unified list).
  • שימוש ב-LLMs בשלב האחזור (Over-fetching ו-Re-ranking):
    • אפשר להביא כמות גדולה של תוצאות ולהשתמש במודלים כמו Cross encoders כדי לדרג אותן מחדש ולספק תוצאות מדויקות יותר.
    • שימוש ב-UBI (User Behavior Insights): איסוף פידבק והקלקות של משתמשים בפועל כדי לאמן את המודל לדירוג טוב יותר (מעין Reinforcement learning שמובנה במערכת).

[41:35] עידן ה-Agents ו-RAG

  • RAG (Retrieval-Augmented Generation): כדי למנוע ממודלי השפה (LLMs) להזות נתונים (Hallucinations) וכדי לאפשר להם להכיר דאטה פנימי של הארגון, צריך לבצע Grounding. מנוע החיפוש שולף את הקונטקסט הרלוונטי ומעגן את תשובת המודל במציאות.
  • ניהול זיכרון בשיחות (Conversational Search):
    • מנוע חיפוש נדרש לתמוך באחסון ואחזור של היסטוריית שיחות עבור Agents.
    • מעבר לזיכרון לטווח קצר (Session memory), המערכת יודעת לייצר תקצירים ותובנות (Insights) לטווח הארוך, שישמשו את האייג’נט בשיחות עתידיות עם אותו משתמש.
  • Agentic Search:
    • מעבר מחיפוש פסיבי לפעיל – הכנסת פרסונליזציה וקונטקסט (Specification) לתהליך החיפוש.
    • ה-Agent לוקח בחשבון פרמטרים כמו העדפות אישיות, היסטוריית רכישות והגדרות דומיין (למשל חנות יוקרה מול חנות רגילה), כך שמשתמשים שונים יקבלו תוצאות שונות לחלוטין גם אם הזינו בדיוק את אותה שאילתה בתיבת החיפוש.

[47:40] הקהילה המקומית ותרומה לקוד פתוח

  • דותן מזמין את קהילת המפתחים בארץ להשתלב ולתרום לפרויקט הקוד הפתוח של OpenSearch.
    • התרומה לא חייבת להיות רק בקוד (Java, Rust, Python). אפשר לפתוח Issues, לכתוב תיעוד (Tech docs) ולהשפיע על ה-Roadmap.
    • יש קבוצת משתמשים פעילה מאוד בישראל (OpenSearch Tel Aviv) וערוצי סלאק גלובליים פתוחים לכולם ב-OpenSearch.org.
  • אפשר למצוא את דותן ברשתות החברתיות פשוט תחת ההנדל שלו – Horovits.

האזנה נעימה!

תמלול מלא של הפרק

התמלול נוצר אוטומטית וייתכנו בו שגיאות. לחיצה על חותמת זמן מנגנת את הפרק מאותה נקודה.

00:20 קריין: ברוכים הבאים לרברס עם פלטפורמה, הפודקאסט על פיתוח תוכנה עם אורי להב ורן תבורי.

00:28 רן: שלום, ברוכים הבאים לפרק מספר 523 של רברס עם פלטפורמה, אנחנו היום ב-17 בנובמבר 2026. אהלן אורי.

00:38 אורי: אהלן אהלן. מה נשמע? בסדר, ברקע שלנו משביעים עכשיו... בוחרים יושב ראש כנסת.

00:47 רן: נכון, שבוע שעבר השביעו כנסת, השבוע בוחרים. אנחנו מתכבדים היום לארח את דותן הורוביץ מ-AWS. היי דותן.

00:56 דותן: אהלן, כיף להיות פה.

00:58 רן: ברוך הבא, ברוך הבא. אז דותן נמצא המון שנים בתחום של קוד פתוח ועבד בחברות שמתעסקות בזה, והיום ספציפית ב-AWS מתעסק במוצר שנקרא OpenSearch ועליו נדבר. OpenSearch זה מוצר שיודע לעשות הרבה מאוד דברים, אנחנו לא נוכל לדבר על הכל, אבל נדבר על מה שנספיק.

01:23 דותן: וזה קוד פתוח. עכשיו זה לא מוצר, זה פרויקט קוד פתוח. אז כבר מהתחלה, נגיד שזה קוד פתוח, זה הנושא שלנו היום.

01:32 רן: אחלה. אז כן, דותן, אז כמה מילים עליך, כמה מילים על האזור שלך ב-AWS, אם אי אפשר לדבר על כל AWS פה, אבל קצת על דברים שאתה עושה שם ואז נצלול פנימה לתוך OpenSearch.

01:43 דותן: כן. טוב אז AWS, Amazon Web Services, לא צריך להציג. אני נמצא בצוות מאוד מיוחד ב-AWS, בעצם צוות שאחראי על כל תחום ה-Open Source גלובלית. אז בעצם כל מה שקשור ל-Open Source ב-AWS, בין אם זה קוד פתוח שמשתמשים שצורכים אותו ומשתמשים בו בתחומים, או קוד פתוח ש-AWS מוציאה, או קוד פתוח ש-AWS תורמת אליו, או תורמת אליו, או סמפלים, כל דבר מקטן ועד גדול, זה איכשהו מתרכז, כל ה-Open Source strategy ו-inbound ו-outbound ומרקטינג, זה הצוות שלי.

02:17 רן: ואתה בישראל? הצוות הוא גלובלי?

02:20 דותן: אני בישראל, בפוקס. כי האחריות שלי היא אחריות גלובלית, כל הצוות שלי הוא גלובלי, ובגלל זה גם אני מעט מאוד זמן נמצא תכלס בארץ, רוב הזמן ככה... גם עכשיו אני בין KubeCon ל-re:Invent נמצא פה בארץ, ושמח על ההזדמנות שיצא לנו לדבר.

02:37 רן: ופרט ל-OpenSearch, אילו עוד מוצרים בולטים נמצאים ב-Open Source?

02:41 דותן: אני חושב שמאוד מעניין זה להזכיר את Valkey, שעם OpenSearch התחיל כ-Fork של ElasticSearch, אז Valkey התחיל כ-Fork של Redis מנסיבות דומות של משהו שהיה פתוח ונסגר על ידי ונדור. אז הרבה באמת הולך יותר צעיר, גם הרבה יותר צעיר, אז הרבה הולך על Valkey. ובין לבין יש עוד המון פרויקטים שאנחנו מעורבים בהם שאנחנו תורמים להם. וגם כל מיני פעילויות כמו פאנדינג של Security checks בקוד פתוח, ולתרום קרדיטים לכל מיני פרויקטי אופן סורס ול-Foundations ואנחנו חברים בכל מיני Foundations אז זה מאוד מעניין.

03:26 רן: אוקיי. אז בוא נדבר על OpenSearch. אז אמרת יש את הפרויקט קוד פתוח שבו אתה מתעסק, יש גם איזה Offering מ-AWS עצמו של OpenSearch אבל בזה אנחנו פחות נתעסק. מה היום OpenSearch יודע לעשות? כלומר, איך אנשים משתמשים ב-OpenSearch?

03:46 דותן: אז OpenSearch הוא בעצם מאוד ורסטילי. קודם כל חשוב להדגיש כשאני אומר Open Source זה לא רק Open Source, זה גם Open Source שהוא תחת ה-Linux Foundation. זה top level project מתחת ל-Linux Foundation, אז זה לא אומנם אני עובד ב-AWS אבל זה לא owned על ידי AWS ויש שם foundation עם 22 members, כולל חברות גדולות כמו IBM ו-Intel ו-Uber ו-SAP ואחרות. אז רק חשוב לי בצד של ה-Open Source-יות שלו שזה יהיה ברור.

04:17 רן: והמשמעות מעבר לפאנדינג אני מניח זה Governance, כלומר מחליטים על מה עובדים, איך מפתחים את המוצר וכולי.

04:23 דותן: לגמרי. אז בעצם זה עם כל הכללים והקונבנציות של ה-Linux Foundation, יש Governing Board שיש בו חברים כמובן מאוד diverse מכל הארגונים, ויש Technical Steering Committee ותחת ה-Technical Steering Committee יש לנו Technical Advisory Groups. אני אישית באמת מוביל את ה-Technical Advisory Group בתחום ה-Observability שזה אחד היוז קייסים הפופולריים ל-OpenSearch. אז באמת ואנחנו מגדלים את כל הנושא הזה של ה-End users ושל ה-Governance, אז זה בהחלט משהו מאוד מרכזי בצד האופן סורסי של זה.

04:58 רן: אז אז Use cases... אז אחד דברים זה אמרת זה Observability, מן הסתם הדבר השני זה Search, פשוט לחפש מסמכים.

05:05 דותן: OpenSearch בדיוק, אז הרבה Search, אבל שוב Search זה מילה מאוד גדולה, אז אנחנו נדבר על זה בהמשך אבל באמת כל סוגי הסרץ' שאתה רוצה, אם זה Lexical ו-Semantic, Hybrid, Agentic וכולי. וב-Observability חשוב לי להגיד גם כי זה מילה גדולה אז מדובר מ-Log analytics ו-Monitoring עד ל-Observability של עם Tracing ו-APM ואפילו Agentic Tracing Agentic Observability. אז באמת גם Observability זה דומיין ענקי. סביב זה באמת יש, יש גם Vector database, אז באמת מי שצריך פשוט Vector storage יש את זה out of the box גם כן. ויש כל מיני Use cases נלווים כמו Security analytics וכולי. זה ככה מרכזיים.

05:48 אורי: יש לי שאלה... אמרת בהתחלה שהוא Fork של ElasticSearch. למה לעשות Fork?

05:57 דותן: אז ב-2021... עד 2021 ElasticSearch וכל ה-ELK stack, קיבנה, לוגסטאש וכולי, היו בעצם Apache 2.0. לייסנס שכולנו מכירים, Open Source, Permissive. ואז הוונדור ששולט בזה, חברה שנקראת Elastic בעצם שינתה את הלייסנס. זה בעצם כבר לא היה Open Source. הלייסנס החדש שהם שינו היה לייסנס שהוא נקרא SSPL, Server Side לא משנה השמות והזה, אבל בכל מקרה לייסנס שהוא לא Open Source-י, מה שנקרא Business source license. ובאופן טבעי, הקהילה רצתה היוזרים רצו לשמור על הפרויקט פתוח, רצו לשמור, היו מעורבים בזה, תרמו לזה ורצו לשמור את זה פתוח. אז זה בעצם היה המוטיבציה הראשונית אי שם לפני חמש פלוס שנים.

06:53 אורי: זה מזכיר, זה גם משהו שמזכיר את הגיל. מה שקרה ל-MySQL כשנמכרה לסאן אני חושב, נכון? או לאורקל, אני כבר לא זוכר.

07:03 רן: דעתי לאורקל. כן.

07:05 אורי: לאורקל. באותו רגע יצא Fork שקראו לו ששכחתי...

07:10 רן: פרקונה אולי.

07:11 אורי: פרקונה וכאלה, כדי לשמר את אותה אותו מהלך.

07:16 דותן: אז אני חושב שזה יותר מזה, כי מכירה זה סימן מסוים אבל אתה לא יודע לאן הוונדור ייקח את זה. לא יודע, VMware נרכשה ובאמת הייתה שאלה עכשיו ברודקום ישמרו או ימשיך לחיות לא ימשיך לחיות. ויש לנו עוד כמה דוגמאות כאלה לאחרונה שנרכשו, ובאמת השאלה מה קורה עם האופן סורס. כאן זה כבר לא היה שאלה, כלומר, היה האופן סורס והייתה החלטה של החברה שהיא שולטת למעשה ב... כלומר זה Open Source by license, אבל אין באמת, הקהילה לא יכולה למנוע את זה. לכן אני אומר בתור מי שנמצא הרבה שנים בעולמות ה-Open Source, Open Source זה לא רק לייסנס, וההוכחה היא בדיוק המקומות האלה שאתה, יש לך לייסנס טוב, ויום למחרת אין לך אותו. זה נקרא Rug pulling, למשוך את השטיח מתחת לרגליים שלך. אז חלק מלהסתכל וזה אני חושב זה ה-Maturity שלנו כשאתם גם בתור אנשים שהובילו R&D ו-CTO וכולי שאתם צריכים לקבל החלטה, כולנו, חלק מההסתכלות אם בוחרים בפרויקט של Open Source זה להסתכל על האופן סורס לא דרך העדשה מאוד מאוד צרה הזו של לייסנס אלא גם על העדשה יותר רחבה של ה-Sustainability של הפרויקט, ה-Long term, האם הוא יהיה אופן סורס לעוד בעוד 3-5 שנים? והאם יש מישהו, האם אני לא רק מבחינת לייסנס, אם החברה עכשיו מתה, לא יודע הפאונדרים עשו חיל בעולמות העסקיים, אז האופן סורס מת? או שיש מספיק Diversity כדי שהפרויקט יהיה Sustainable, שיהיה לו אריכות חיים.

08:42 אורי: זה בדרך כלל חוסן שמגיע מהקהילה של ה... שסביב ה-Open Source הזה.

08:48 דותן: אז שוב, אם ה-Ownership המסחרי והחוקי הוא של חברה, הקהילה יכולה להיות חזקה עד מחר, אבל בסופו של דבר, אם החברה יכולה מחר להגיד אוקיי אני לוקחת את הקוד הזה ומשנה לו את הלייסנס ואף אחד לא יכול לעשות שום דבר נגד זה, אתה יכול לעשות פורק, כן? אם היה Apache 2.0 אז הקהילה יכולה...

09:06 אורי: אם הקהילה חזקה היא תעשה Fork.

09:07 דותן: כן, אבל אני אומר, אתה לא יכול למנוע את העצם ההחלטה הזאת, כי אין באמת, להבדיל בדיוק של רן אמר על ה-Governance, כאן אין Governance כזה שאומר שמחייב אותך by definition לקבל הסכמה רחבה עם diverse acceptance. כאן יכול להיות unanimous של חברה אחת שאומרת אנחנו משנים. בעוד שאם יש עכשיו נגיד OpenSearch הוא תחת רשמית הוא תחת ה-Linux Foundation, זה ה-Legal Entity וה-Commercial Entity שיש לו את ה-Ownership, אין חברה אחת שיכולה לבוא ולהגיד יום למחרת להתהפך ולהגיד לא לא אני רוצה למשוך את הדבר הזה, לשנות לו את הלייסנס. אז לכן אני אומר זה ההבדל בין, אני יש לי מאמר שכתבתי בבלוג שלי לפני המון שנים והוא עדיין אני חושב המאמר הכי פופולרי שם שכתבתי "Vendor owned open source is an oxymoron". כאילו אם יש לך להגיד Open Source שהוא בבעלות של ונדור זה קצת אוקסימורון. זה זה, אז אני אומר זה המשמעות.

10:06 אורי: עכשיו במקרה של ElasticSearch הוא לא היה מה שהוא היה לולא החברה.

10:11 דותן: אני לא סותר את החשיבות של החברה בלדחוף את ה-Open Source, שים לב. עדיין יכולה להיות חברה מאוד דומיננטית שדוחפת את האופן סורס ושמה עליו Engineering efforts וכולי וכולי. אני מדבר על הנושא של מה שאמרת, של מה המשקל של הקהילה בתוך התהליך הזה. האם קהילה יכולה לעמוד על הרגליים ולהגיד רגע תעצרו, זה לא הדבר הנכון לפרויקט? או שבמקום הזה אין Say לקהילה, לא משנה כמה חזקה היא חושבת שהיא וזה כי החברה אומרת לא לא אנחנו יש לנו את השיקולים המסחריים שלנו, לא מתאים לנו יותר, מסיבות כאלה ואחרות, לא משנה, אבל זה החלטה בלעדית שלהם. אז על זה אני מדבר. הקול של הקהילה קול ב-ק' בתוך ה... וזה באמת תהליכים שיש להם השפעה, והשפעה שלה על החלטות מאוד קרדינליות בעתיד של הפרויקט.

10:55 רן: טוב, נראה לי שעשינו הייג'ק פה לה...

10:58 דותן: כן. סליחה ש... הרמתם לי, הרמתם לי, ועכשיו זה הזמן לדבר טכנולוגיה.

11:04 רן: כן. אז רמזת מקודם, אפילו יצא לך וקטורים, אבל למרות שלא התכוונת. אז בעצם אנחנו רוצים לדבר על Search. ובעולם בגדול, יש שני סוגים של Search. אחד זה חיפוש עכשיו עברתי לעברית. חיפוש מה שנקרא לקסיקלי וחיפוש סמנטי. בעצם רוב החיפוש הקלאסי זה מה שנקרא חיפוש לקסיקלי. כלומר חיפוש לפי Keywords, phrases, וכולי. בחיפוש לקסיקלי אתה יכול נגיד לעשות Stemming, כלומר להסתכל על השורש של הפועל והטיות וכולי. ולעשות חיפוש שהוא סמנטי, חכם ככל שתוכל. יש פה אתגרים מעניינים, כמו מה אתה עושה עם שפות, מה אתה עושה עם מילים מחוברות, מה אתה עושה עם הטיות וכולי. לעומת זאת חיפוש סמנטי שגם נקרא הרבה פעמים חיפוש וקטורי, שהוא נהיה יותר ויותר פופולרי בזמן האחרון. OpenSearch למעשה תומך בשניהם, אבל בוא קצת נצלול פנימה למתי תרצה לעשות חיפוש סמנטי, מתי תרצה לעשות חיפוש לקסיקלי, מתי תרצה לעשות את שניהם, ואיזה אתגרים מעניינים יכולים להיות כשאתה, אחד, בא לממש את זה מהצד של המממש, או שתיים בא להשתמש בזה, לדעת להשתמש בזה נכון. אז בוא נתחיל מחיפוש לקסיקלי. מה ה-Use cases הטיפוסיים, הקלאסיים שאתה רואה לחיפוש לקסיקלי?

12:23 דותן: כן, אז אז חיפוש לקסיקלי זה אני חושב שאמרת את זה נכון, בסופו של דבר זה להבין משמעות. חיפוש זה להבין משמעות, אני יש לי Query, יש לי Documents, והשאלה למצוא את ה-Match, למצוא את ה-Documents שהם הכי רלוונטיים ל-Query שלי. זה בעצם אין ה-Sense. והשאלה איך אני מסיק, מה זה הרלוונטיות הזו, זה בעצם המפתח כאן. חיפוש לקסיקלי מסיק רלוונטיות לפי Keywords. משמעות מתוך Keywords.

12:51 אורי: Tokens.

12:53 דותן: אז אז זה לא בדיוק Tokens... המונח הוא Keywords... בטח לא במונח האג'נטי וה-LLM-י, אבל גם לא... כי, אבל בוא נגיד Tokens עזוב, אני לא ארד לדקויות. לצורך העניין אבל ה-Keywords, שיכולים להיות גם Phrases, גם מילים בודדות וכולי, יש בהם המון המון כוח להסיק. אז באמת זה עובד וזה... אבל בעיקר, וכאן שאלת מה המקרים הקלאסיים, המקרים הקלאסיים זה חיפושים יותר מדויקים. כלומר, אם החיפוש שלי חפש לי, לא יודע, נעלי ריבוק או נייקי, אז ריבוק או נייקי זה ברנד ספציפי, אני לא רוצה שום אינטרפרטציה לדבר הזה. אני לא רוצה אדידס רק בגלל שזה נופל סמנטית באותו באקט. אני רוצה את זה. או בטח ובטח אם יש לי IP Address מסוים, או יש לי איזה Part number מסוים, מק"ט או או דברים כאלה. אז לגמרי זה מקומות קלאסיים שאתה אומר דווקא אל תעשה לי שום אינטרפרטציה, אני יודע בדיוק מה אני רוצה.

13:54 רן: כן. כלומר הסמנטיקה מוגדרת בצורה מאוד מדויקת ואל תרחיב לי את זה. אל תחפש כתובות IP שונות למרות שזה גם כתובות IP. אני רוצה בדיוק את הכתובת IP שלי.

14:04 דותן: בדיוק. אז אני אומר... ודרך אגב גם במה שנקרא חיפוש לקסיקלי חשוב מאוד מאוד להדגיש שהוא מאוד עשיר. כלומר גם שם, נגיד בתוך OpenSearch, יש, יש Match queries ויש Term queries וה-Match queries זה ה-Full text search שדיברת עליו שעושה Stemming ו-Tokenization וכולי וכולי ואז באמת אתה מקבל, אם אתה מחפש ילד אז הוא ימצא גם ילדים וילדות ורץ אז רצתי ורצת ורצים, כל ההטיות וכל הדברים האלה ויש הרבה אינטליגנציה. ומהצד השני יש את אפילו העוד יותר מדויקים שבהם אתה יכול ממש להגיד אני רוצה לחפש מוצר ב-Price range, כאילו בין ככה וככה, או Document בין שנים כאלה ואז זה ממש כאילו יש משמעות של Numerical range ומשמעויות של Filtering, Bucketing וכולי וכולי.

14:52 אורי: מה שנקרא Facets.

14:54 דותן: שבסופו של דבר מתמפה ל-Facets. אז זה חיפוש לקסיקלי.

15:01 רן: כן. ורוב מנועי חיפוש עד לפחות השנים האחרונות זה מה שהם עשו. כלומר, היית הולך לגוגל זה מה שהיה קורה שם מאחורי הקלעים. עכשיו נכון שהם תגברו את זה בטכניקות כמו TF-IDF ו-PageRank ודברים כאלה, כדי למעשה לתעדף את התוצאות, כי אם אתה מקבל מיליון התאמות, אתה לא יכול לעבוד עם מיליון התאמות. אתה צריך למצוא את ההתאמות הכי טובות. אוקיי? ואז אחר כך צריך לעשות מה שנקרא Ranking. אבל החיפוש עצמו הוא אותו חיפוש בסיסי, לקסיקלי.

15:28 דותן: אז אתה תארת את TF-IDF בתור משהו נפרד, האמת זה לא נפרד. זה ליבה של Lexical Search. זה בעצם האלגוריתמיקה, כי להבדיל מדאטה בייסים קלאסיים שהרבה פעמים מתבלבלים אומרים לו "אוקיי שאלת ואתה מקבל תשובה אז מה החידוש הגדול פה?" החידוש הגדול הוא שאתה לא מקבל זה לא Exact matching, אני לא מביא רק את ההוא שבדיוק צלפת אליו. הוא יביא לך כמה מסמכים שאתה תרצה... אבל לכל דוקומנט הוא יעשה לו Ranking, יתן לו תמחור, סקור של כמה קרוב הוא ל... כמה רלוונטי. בוא נחזור חזרה אמרנו שבסופו של דבר כל המפתח של חיפוש זה רלוונטיות. כמה רלוונטי. הדרך להסיק רלוונטיות כאשר זה Lexical search זה בדיוק ה-TF-IDF ו-BM25 וכל האלגוריתמים האלה, שמסיקים את זה על ידי ה-TF, זה Term Frequency, וכומר כמה פעמים המילה מופיעה במסמך, וכמה מסמכים מחזיקים את המילה, ומה אורך המסמך וכולי וכולי. כל זה כמו שאמרנו כדי להסיק מתוך ה-Terms את ה-Relevance. זה Lexical search. איפה Lexical search פחות נופל לנו? זה באמת במקומות שבהם אני לא אומר משהו מדויק ועדיין אני רוצה שהוא יצליח להבין אותי. אז אם אני אומר, לא יודע, הולכי על 4 ואני רוצה שהוא יבין שאני מדבר על כלבים וחתולים וזה, זה משהו שהוא מאוד סמנטי. אם אני אדבר על חייזרים ואני רוצה שיביא לי את, לא יודע, את אי.טי או את אלף, וזה כנראה מסגיר את הגיל שלי אז תורידו את זה בעריכה... או לא יודע, אתה אומר מלחמת הכוכבים ואתה רוצה שיביא דארת' ויידר, זה הכל דברים שהם בעולמות סמנטיים. הקישור הזה לא יכול להתבצע על בסיס מילים, אלא אם כן אתה מנהל, ויש מנגנון כזה ב-Lexical search, אתה יכול לעשות Synonyms שאתה אומר כל זה באותו באקט אבל זה קשה מאוד לתחזוקה. אז זה המקומות שבהם באמת הכוח של Semantic search. אני כן אגיד דרך אגב ש-Semantic search זה לא רק וקטורים, אתה הצגת את זה ככה די דיכוטומי, יש גם Neural Sparse Search ודברים אחרים, אבל בהחלט סמנטי ולקסיקלי הייתי אומר זה ההפרדה. וזה מעניין לראות שאיך שאני רואה את זה, בדרך כלל זה לא או או. כלומר הרבה היום, מאוד פופולרי הנושא הזה של של וקטורים וזה, אז כולם חושבים שזה פתרון הקסם וה-Silver bullet שיפתור את הכל, רצים לסמנטי, אבל אתה רואה שכשעושים פרודוקטיזציה ושהם עוברים את כל התהליך, הם מהר מאוד בסופו של דבר מתכנסים למקום שהוא בעצם היברידי, הוא משלב את שניהם.

17:48 רן: כן. אבל בוא נדבר שנייה על איך בכלל מממשים את כל אחד מהחיפושים האלה. ניכנס רגע לנעליים של המממשים. אז Lexical search, יש לי מסמך. מה אני עושה איתו? איך, זאת אומרת, איך אני מאנדקס, מה הפעולות שאני בדרך כלל עושה עם מסמך?

18:01 דותן: אז ב-OpenSearch היופי שאני שוב... חלק מעניין זה שזה פלטפורמה שלמה שנותנת לך מערך שלם, אז היופי שבעצם האינדוקס קורה לך כחלק מה-Ingestion. אני לא אכנס כרגע ל-Ingestion pipeline ואיך אתה יכול לפטם גם את ה-Ingestion עצמו, אבל בגדול, הרעיון הוא שאתה לא צריך משהו שהוא סכמה מאוד סדורה וכולי, אלא דווקא הכוח של Free text search שאתה יכול לזרוק עליו כמויות גדולות של טקסט, תחשוב על סתם, מאמרים, לא יודע, PDF-ים מלאים מלאים בטקסט, אתה זורק את זה שמה ואז אתה מסוגל לשאול שאלה והוא ידע ב-Free text search לשלוף את החתיכות, כולל להבין שדות ולסדר דברים לא רק טקסטואליים, גם דברים שהם לא יודע, זה IP Address, וזה Geo coordinates ואז אתה יכול לעשות חיפוש של דוקומנטים שנופלים בתוך נגיד Bounding box או דברים כאלה.

18:52 רן: כן. סבבה. אז אז בעצם OpenSearch כמו מנועי חיפוש אחרים, בעצם מסתכל על מסמך, מבין מה יש בתוכו, מפרק למילים ומייצר לעצמו אינדקס, והוא גם מבין סמנטיקה של חלק מהדברים. כלומר כמו שאמרת, אם זה מיקוד, או אם זה מספר, או אם זה כתובת גיאוגרפית, הוא ידע להתייחס לזה נכון. כל זה כהכנה למשתמש שעוד שנייה יבוא וישלח לו איזה Query, נכון?

19:17 אורי: כמו בדאטה בייס, אם לא יוצרים אינדקסים אז אחר כך...

19:20 רן: הולכים לעבוד מאוד קשה. אז צריך לייצר אינדקסים. עכשיו מגיעה שאילתת חיפוש. איך עושים את ההתאמה בין המסמך לבין השאילתה?

19:28 דותן: אז קודם כל מילה אחת לגבי ה-Lexical search ב-OpenSearch מבוסס על Apache Lucene, אז הרבה בטח במאזינים שלכם מכירים...

19:39 אורי: זה מסגיר... זה גם משהו שמזגיר את הגיל.

19:42 דותן: גם מזגיר את הגיל וגם מזכיר את ה-Origins בתור פורק של ElasticSearch, כמובן זה היה זה...

19:47 רן: רק אל תגיד Java.

19:50 אורי: מה היה אחרי Lucene, היה עוד משהו ואחרי זה ElasticSearch...

19:57 דותן: יש Solr. Solr עדיין קיים דרך אגב. זה גם פרויקט של Apache, Apache Software Foundation, Apache Solr, עדיין קיים. באותו באותו דומיין באמת. אז אז אני חוזר לשאלה שלך, בעצם מה שקורה בשאילתה... ויש מלא מבני נתונים, אז הסיבה שאמרתי Lucene זה כי יש פה מלא מבני נתונים שמתוחזקים ויש Inverted indexing וזה, אני אני לא רוצה לצלול יותר מדי לעומק פה, אבל המטרה היא, ברגע שמגיעה השאילתה זה היא עוברת תהליך דומה מבחינת הלהבין את ה-Keywords בתוך ה-Free text. ואז על ידי המבני נתונים האלה, למצוא את...

20:30 אורי: הוא פחות או יותר צריך להיות זהה, כדי שלא...

20:34 דותן: בהחלט. ואז יש את מה שדיברנו, ה-BM25 Algorithm שדיברנו עליו מקודם, שבעצם עושה את ה-Matching הזה ומחזיר לך, לפי המגבלות שלך כמובן את כמות הדוקומנטים, כל אחד עם ה-Rank שלו ואז כמובן לפי הזה שלך, אתה לוקח את הטופ X ומראה כי כמו שאמרת, גוגל לא מראה מיליון מסמכים. זה ככה in a nutshell.

20:50 רן: אז זו הסיבה שאני שואל, כדי להראות שבעצם בחיפוש סמנטי הפייפליין שונה לגמרי. אז בוא רגע נדבר על איך נראה חיפוש סמנטי. כלומר מה קורה למסמכים שעושים להם Ingestion אבל הפעם לחיפוש סמנטי? מה עושים להם?

21:07 דותן: אז חיפוש סמנטי בעצם, אתה עושה את החיפוש לא על ה-Raw data, לא על המסמך, לא על ה-Source. אתה עושה את זה על Embedding representation.

21:17 רן: זה מה שנקרא וקטור. של פודקאסט בעברית, כן? אתה לא רגיל לדבר עברית כל כך הרבה.

21:23 דותן: כן. אז אז בעצם, כולם אומרים וקטור וקטור. מה זה בעצם וקטור? יש בעצם שדה סמנטי עם מלא מלא מימדים. זה יכול להיות אלפי מימדים. ובעצם אנחנו מתרגמים את המסמך לייצוג וקטורי. בסופו של דבר, שורה תחתונה, מלא מלא Floating points, כן? אם יש לי לא יודע 1024 Dimensions אז 1024 Floating points, 4 byte numbers floating point 32. זה בעצם מה שאתה רואה. והחיפוש קורה עליו. עכשיו, מה שקורה זה ש... אז אז קודם כל ב-Ingestion יש שלב נוסף שבו אתה צריך להגיד, אתה מביא את המודל, שזה נקרא Embedding model.

22:09 רן: זה בעצם LLM קטן, אוקיי? הוא לא ג'נרטיבי, הוא לא מייצר מילים, אבל הוא כן יודע לקחת את המשפט שלך או את הפסקה שלך או את המסמך שלך, ולהפוך את זה לוקטור בגודל נתון, לא משנה, 1024, 2048, אבל בגודל של ה-1024 אוקיי? אתה נותן לו כ-Input מילים, והוא מוציא לך כ-Output וקטור בגודל נתון 1024, שהערכים שלו הם מן הסתם מושפעים מהתוכן, למעשה הסמנטיקה היא מוטמעת בתוך האפסים והאחדים וה-0.05 שלו.

22:41 דותן: אני חושב שמה שאמרת המילים האחרונות זה המהות. כי בסופו של דבר, יש פה מודל של Neural network שנבנה בתהליך האימון. ובתוך תהליך האימון, והוא בעצם מטמיע את הקשרים האלה, הקשרים הסמנטיים. קשה מאוד להסביר את זה, כלומר, זה לא שאני יכול להגיד לך "Dimension מספר 32 זה הצבע ו-Dimension מספר 33 זה החומר". כן? זה לא, זה עד כדי כך מתמפה ל-Facets, אבל אפשר לחשוב על זה קצת כמו Facets במובן הזה שדברים שהם דומים סמנטית, הנעל אדידס והנעל הזאת עם הדוגמה הקודמת, ישבו קרוב אחד לשני במרחב הרב מימדי הזה, הוקטורי.

23:17 רן: יפה, אז בדיוק, זה הנקודה. ובמרחב הסמנטי הזה אדידס וריבוק נמצאים מאוד קרוב אחד לשני, בעוד שבמרחב הלקסיקלי הם מאוד רחוקות, כי זה פשוט אותיות אחרות.

23:28 דותן: בדיוק, בדיוק. אז זה המהות של זה. וזה באמת הסיבה שהחיפוש נעשה, וחשוב להדגיש עוד הבדל מאוד מהותי. ברגע שאנחנו עוברים ל-Semantic search אנחנו כבר לא מוגבלים לטקסט. בוא נזכור את זה. אני יכול לתרגם לוקטור גם תמונה, גם קובץ קול, גם קובץ שמע או וידאו, או אפילו PDF שזה דוגמה שאני מאוד אוהב, כי PDF בעצמו מכיל הרבה Modalities. זה מה שאני אומר זה נקרא Modality. אז יש ויכול להיות לך Multi-modal models, כי ב-PDF יש לך, בתוך ה-PDF יש לך Header ויש לך Paragraph, ויש לך פתאום איזה שהיא טבלה, ויש פתאום איזושהי דיאגרמה. וכל אחד מהם דורש צריך דרך אחרת למצות את הסמנטיקה מתוכו. אז, אז בעצם אתה צריך כמובן לבחור את המודל, כמו שאמרתי את ה-Embedding model המתאים ל-Modalities שאתה עובד איתם. אבל אתה לא מוגבל כבר ב... אתה יכול לצורך העניין, אתה יכול לעשות Ingestion של מלא תמונות, ואז לתשאל בטקסט ולמצוא את התמונות. זה היופי כבר הראשון שמקפיץ את זה למימדים אחרים לגמרי ברגע שאתה עובר ל-Semantic field.

24:36 רן: כן. כלומר בעולם הסמנטי, תמונה של נעל אדידס לצורך העניין תהיה קרובה לטקסט של 'אדידס' או גם לטקסט של 'ריבוק'.

24:46 דותן: אז מה שאמרת יהיה נכון רק ב-Multi-modal models. אבל מה שאני אומר שגם אם אתה לא ב-Multi-modal, גם אם אתה רק מתשאל רק אם זה רק תמונות, עדיין אני יכול נגיד לשאול, תמצא לי נעל ריבוק לפי כל התמונות האלה. או הדוגמה שכולם אוהבים זה תמצא לי חתול בתוך כל התמונות של הזה אחרי שאימנתי על חתולים, זה הדוגמה הקלאסית שכשמלמדים אנשים אז. אז אני אומר, אז אז אתה יוצא מהמגבלה הזאת בכלל של רק טקסט. ואז אני אומר, עשינו Ingestion, בין אם זה טקסט, בין אם זה כמו שאמרנו Modalities אחרים, מייצר את ה-Embedding ואז אני מאחסן את זה ב-Storage אחר. כלומר אם דיברנו ב-Lexical search אז ב-OpenSearch יהיה לך Lucene index, עכשיו יש לך KNN index. KNN זה K Nearest Neighbors, אני אדבר על זה עוד שנייה, זה האלגוריתם. כלומר, זה אינדקס אחר לגמרי, זה ייצוג אחר לגמרי פנימית. ואז ה-Query כשמגיעה ה-Query בעצם הוא עובר תהליך מאוד דומה, עם אותו Embedding אני שוב מדגיש מה שאמרת מקודם נכון, זה אותו Embedding model שעובד על ה-Query, מתרגם את זה ל-Embedding, ועכשיו אנחנו מחפשים את הוקטורים הקרובים במרחב הזה הרב מימדי הסמנטי. זה בעצם in a nutshell וזה נשמע פשוט וזה מאוד מאוד לא פשוט.

25:56 רן: זהו, אז פה יש באמת אתגר הנדסי שמתחבא. כי לחפש, נניח יש לך מיליוני וקטורים, מיליוני מסמכים, לחפש את הוקטור הכי קרוב לשאילתה בין מיליוני וקטורים שהגודל שלהם זה 1024, זו בעיה הנדסית די קשה, יש מעט אלגוריתמים, הזכרת את KNN כשם גנרי, יש לו הרבה מאוד קרובים, וזו בעיה שלמעשה כל המנועי חיפוש הוקטורי צריכים להתמודד איתה.

26:24 דותן: נכון. אז בוא נדבר רגע, למה זו בעיה קשה ואיזה פתרונות יש בעולם שאתה מכיר, ב-OpenSearch או באחרים. אז היא בעיה קשה בהמון מימדים. אני רגע, אני אגיד ממש בקצרה כי לא ניכנס אבל... קודם כל בכלל כשאני אומר אוקיי תביא לי את הוקטורים הקרובים, אולי אינטואיטיבית זה נשמע לנו כן, ברור, תביא את הוקטורים הקרובים. אבל להגדיר מה זה קרוב בעצמו זו שאלה בפני עצמה. ואז יש שאלה שלמה של מה ה-Space. ויש כל מיני Spaces, יש Euclidean space ויש Cosine space ויש Hamming ו-Product וכולי וכולי. אז בכלל מה זה המשמעות של מרחק בין שתי נקודות, שני וקטורים, איך מודדים את זה. אחרי שהגדרת את ה-Space, אז יש באמת כמה דרכים לחשב את אותם קרובים. עכשיו ה-KNN הקלאסי, מה שכשאומרים KNN לפחות באקדמיה, הכוונה היא לאלגוריתם KNN שהוא אלגוריתם Brute force. אתה רץ על כל הוקטורים שיש לך ב-Storage ואתה מוצא מי מהם, מדרג אותם לפי המרחק, ומביא את הכי קרובים.

27:31 רן: מה הסיבוכיות של זה? אז אם יש לי מיליון מסמכים, הסיבוכיות היא מיליון. פשוט צריך לעבור על זה מיליון.

27:38 דותן: בדיוק, זה כבד וכמו שאמרת זה חישובים וקטורים, כלומר זה לא סקלרים, אז גם החישוב עצמו הוא כבד, וזה לא, זה לא Scalable. אז מה שעושים ברוב המקרים זה באמת הולכים למה שנקרא ANN, או Approximated KNN, ששמה אתה יכול להריץ את זה ב... אתה עושה קצת Trade-off של הדיוק, אבל זה באמת משהו ש-flies. ויש המון Tuning כדי לדאוג שזה עדיין רלוונטי אליך. חשוב לי גם דרך אגב להדגיש, המרחק גם גוזר מה שדיברנו קודם את הרלוונטיות. אז זוכרים שיש Rank לכל אחד ב-Lexical search, עשינו את זה עם BM25, אז כאן המרחק יהיה באמת ה-Ranking. אז אתה עדיין רוצה לא תשובה אחת את המדויק בדיוק כמו שאמרנו מקודם, אתה רוצה תן לי אם אני רוצה 10, 100, 1000, תן לי את כולם, אבל לכל אחד תצמיד לו את ה-Rank שלו, את הדירוג, את הסקור שלו. אז ANN algorithms, בדרך כלל הנפוצים זה HNSW ו-IVF. אני לא אחסוך לכם את המה זה אומר בראשי תיבות.

28:36 רן: HNSW זה Hierarchical... והשאר אני לא זוכר.

28:39 דותן: Hierarchical Navigable Small Worlds, אבל לא משנה, באמת זה לא רלוונטי. וחשוב לא פחות זה שיש הרבה מנועים בחוץ שמממשים את זה ויש גם להם, המימוש הוא גם מאוד חשוב. כלומר הוא יכול לקבוע לך אם זה יהיה כמה מקסימום Dimensions וכמה Volume שזה יקח, וכמה Latency וכולי. אני רואה שיש לך שאלה.

28:54 אורי: נכון. ב-Lexical search, החוזק בסרץ' כמו ב-Databases הוא בבנייה של האינדקס.

29:04 דותן: אוקיי.

29:05 אורי: האם גם בוקטור... בעולם במרחב הוקטורי, כדי לעשות חיפוש יעיל אנחנו גם יודעים לאנדקס את הוקטורים האלה כדי שתהיה לנו שליפה יעילה?

29:21 רן: זו שאלה מצוינת. אני חושב שדותן קצת התייחס לזה ברמז. אמרת שיש כמה אלגוריתמים של ANN, כמו HNSW ו-IVF, אז בגדול התשובה היא באיכות של האלגוריתם. זאת אומרת, עד כמה הוא יודע להביא לך Recall, ועד כמה הוא רץ בצורה יעילה. אני חושב שזה... ככה אני מבין את השאלה של אורי.

29:46 אורי: לא, אני התכוונתי לזה שכשאתה... כדי לשלוף יעיל אני ב-Ingestion בונה אינדקסים שמאפשרים לי...

29:59 דותן: אבל זה בדיוק אני אומר, אנחנו מפספסים פה, אנחנו מבלבלים בין מטרה ואמצעי. בעולמות ה-Lexical search אני בונה את כל המבני נתונים האלה וה-Inverted index וכולי כדי לשלוף מהיר. השליפה מהירה בוקטורים, בעולם הוקטורים, היא אחרת. כמו שאמרנו, אני צריך קודם כל את ה-Embedding model הנכון, זה החלטה מאוד מאוד קרדינלית לבחור את ה-Embedding model הנכון לצרכים שלך ול-Use case ולדומיין שלך, וברגע שה-Neural network ששמה הוא מכוון היטב אז ה-Embedding שלך ממפה אותם יפה על המרחב הסמנטי. והדבר השני זה באמת כמו שאמרנו, מנועים יעילים, כדי שיוכלו ב-Latency יחסית נמוך, למצוא את ה... את אותם N שאני רוצה שיהיו קרובים, כמה שיותר מדויק ועדיין כמה שיותר מהיר, כי כמו שאמרנו ה-KNN הוא כבד מדי. אז גם הבחירה של האלגוריתם, וגם הבחירה, ויש פה מלא, יש Cluster-based ו-Graph-based ו-Hash-based ו... אני לא אכנס לכל הזה, אבל זה, זה המקבילה הייתי אומר שבמשמעות למה שאתה מחפש ביעילות האינדקסואלית כביכול.

34:03 רן: והם הרבה פעמים עושים Trade-off בין Recall ל-Runtime performance, אוקיי? כלומר, ככל שאתה רץ יותר מהר, אתה כנראה תוותר על איזה שהוא Recall, תוותר על איזשהו דיוק.

34:43 דותן: וה-Precision. אם כבר אנחנו אומרים Recall אז חשוב כי הבאלאנס בין Recall ל-Precision הוא גם משהו שהוא תמיד ליווה אותנו בעולמות הסרץ' הזה.

34:49 אורי: באים ביחד אבל הם סותרים.

34:50 דותן: הם באים ביחד אבל הם סותרים, כמו... אתה צריך תמיד לחפש כי זה אומר, אני לא יודע אם הקהל שלכם מכיר, אבל רק את הזה, בעצם אחד אומר מה אחוז הנכונים בתוך מה שהבאת, והשני, מה אחוז הלא נכונים לצורך העניין. אז אם אתה מנסה לפטם, כמה פספסת? אז אם אתה מנסה לפטם להביא כמה שיותר נכונים, כביכול גם איתם יכולת להביא מלא מלא לא נכונים רק כדי להיות כמה שיותר כוללני, אבל אז זה מלא רעש. והשני אומר כמה רעש הכנסת. כמה מתוכם זה רעש, אז זה כאילו משהו שתמיד היה שם.

35:20 רן: לצורך העניין, אם תחזיר את כל המסמכים, ה-Recall שלך הוא מעולה, החזרת את הכל. אבל גם יש לך כל כך הרבה רעש שה-Precision שלך הוא על הפנים. אם תחזיר רק אחד, יכול להיות שקלטת בול, אבל כנראה פספסת את החמישה האחרים, אז ה-Recall שלך מאוד נמוך, וה-Precision גבוה. עכשיו, בוא רגע נחזור, אז דיברנו קצת על המימוש מאחורי הקלעים, דיברנו קצת הרבה, נסחפנו... אבל עכשיו בוא נדבר על מתי אני ארצה בעצם להשתמש בשניהם ואיך זה עובד. כלומר, מתי אני ארצה לעשות איזה שהוא שילוב של חיפוש סמנטי ולקסיקלי.

35:52 דותן: אז אני חושב שממה שדיברנו מקודם, אני חושב שפחות או יותר התמונה היא גם הקו המנחה. כשיש לך שאילתה שיש לה אלמנטים שהם צריכים להיות מאוד מדויקים, תן לי את הריבוק הזה, אבל תן לי משהו שמישהו אומר לך מתאים לחורף, או מתאים לאופנה של זה וזה, ואז נכנס העניין הסמנטי, אז אתה צריך כביכול משהו היברידי שכל אחד הוא הוא מעגן באמצעי המתאים אליו. וזה וזה החוזק של של Hybrid search. זה בעצם לקחת את השאילתה, לדעת לפרק אותה לאלמנטים שלה, וכל אלמנט לממש אותו או להריץ את המנוע המתאים לחיפוש שלו. ואז אתגר נוסף זה איך אתה עכשיו ממזג את זה ביחד? כי זה שני מנועים שונים, כל אחד יש לו את הספקטרום שלו, ואתה צריך לעשות בעצם נורמליזציה כדי בכלל לאחד, לצורך העניין תחשוב אתה מריץ כאילו שני סטרים מקבילים, אחד רץ לקסיקלי אחד רץ סמנטי, ואז אתה צריך לעשות נורמליזציה כדי לאחד אותם ולהביא Unified list עם Rank שהוא שהוא קונסיסטנטי.

36:51 רן: נכון, אז זהו, אז כל אחד מהמסמכים קיבל Rank, אבל כל אחד קיבל Rank על ידי שופט אחר. עכשיו לך תדע מה היחסים ביניהם.

36:57 דותן: בדיוק.

36:58 רן: ודרך אגב יכול להיות שחלק מהמסמכים נמצאים בשניהם. ואז זה אחלה. אבל באמת ה-Unification הזה הוא הוא הוא גם אתגר, אבל ניקח אותך רגע צעד לפני זה. מי בכלל מחליט לעשות את ה-Hybrid search? כלומר זה אני כמפתח שמשתמש ב-OpenSearch או ש-OpenSearch בעצמו מחליט 'היי זה נראה לי כמו שאילתה שצריכה Hybrid אז בוא נעשה פה Hybrid'.

37:25 דותן: אז ב-OpenSearch אתה בעצם מחליט שאתה רוצה להשתמש בשאילתות היברידיות כחלק מהגדרת השאילתה שאתה רוצה להריץ. ואז יש הרבה באמת הגדרות נוספות שאתה צריך לספק כדי להגיד לו איך אחרי זה למרג'ג' את הסיפור הזה ולעשות את הנורמליזציה.

37:45 רן: אוקיי, עכשיו, טכניקה שאני מכיר שקורית הרבה, זה בעצם לעשות Over-fetching, כלומר להביא יותר מסמכים, אבל אם אני יודע שבסוף ה-User לא נעים לו לראות יותר מ-10, אז אני אעשה מה שנקרא Re-ranking. כלומר, נגיד הבאתי 100, אבל בסוף אני רוצה להציג רק את העשרה ה... את הטופ 10. אוקיי? אז זה מה שנקרא Re-ranking. זה משהו שקיים ב-OpenSearch?

38:06 דותן: OpenSearch יודע לעשות Re-ranking, ושוב דיברנו קצת על איך ה-LLM... כל הכניסה הזאת של LLM משקשק לנו דברים אפילו שהכרנו לפני זה, אז אני חושב שמאוד מעניין להסתכל אם דיברנו מקודם על ב-Ingestion כמה הוא יכול לייעל לנו אפילו ב-Lexical search קלאסי, אז עכשיו נדבר על הקצה השני של התהליך וכמה הוא יכול לייעל לנו או לשדרג לנו את ההחזרה. כי אוקיי, היה את כל המנועים, נניח לצורך העניין אפילו ה-BM25, המוכר, הישן והמאוד אמין, ועדיין אוקיי ה-Rank המספרי הזה לא מייצג את מה שבסופו של דבר משתמשים בחוץ בפועל מתעדפים. איך מה אני עושה? ואז LLM נותן לנו את האפשרות להריץ מודלים, בדרך כלל זה יהיה Cross encoders וכולי, שיכולים לעשות לנו Re-ranking ולספק לנו בעצם פרספקטיבה עדכנית on top of מה שקיבלנו כתוצאה מהמנוע המסורתי, נקרא לזה. ואני רוצה לאתגר אפילו עוד יותר ולהגיד שאפשר לקחת את זה עוד שלב קדימה. ומעבר... אז ה-Cross encoders ויש גם LTRs... שזה Learn to Rank וכולי, כל ה... זה, אבל אפשר גם תכלס לעשות את זה גם על ידי ה-User feedback עצמו. יש משהו שנקרא UBI (User Behavior Insights) שוב, זה לא מתאים לכולם, אבל אם יש ג'אווה סקריפט מאוד קטן שאתה משלב בתוך ה... בתוך ה-Frontend שלך, אתה יכול לאסוף את מה שהיוזרים בסופו של דבר באמת לחצו או לא לחצו, הפידבק שלהם, להזין את זה בתור Implicit signals, ואז להזין את זה ל-LLM ולעשות Training, offline training בעצם לשפר לא על בסיס מה אלגוריתם כזה או אחר, אלא על בסיס מה היוזרים דירגו בפועל בשיטוט שלהם באתר שלנו או בקטלוג שלנו או מה שזה לא יהיה.

39:52 רן: מה שנקרא Reinforcement learning, אבל בקטנה. בלי לקרוא לזה Reinforcement learning.

39:57 דותן: אז זה Reinforcement learning, אתה סוגר את הלופ מאוד קצר, אתה משתמש ב-LLM כדי באמת לתת לך את הדירוג היותר משודרג וללמוד את היוזר. וחשוב לי להדגיש, כל מה שאמרתי, קיים out of the box כחלק מ-OpenSearch.

40:11 אורי: זה מה שאמרת עכשיו זה הלחם והחמאה של חברות האדוורטייזינג.

40:15 דותן: לגמרי, גם. כל החיפוש בעצם הם היו ה-Bread and butter והשקיעו את ה... את כל הכספים האדירים בשביל לשפר ולהגיע לרמות מאוד מדהימות. כי וואלה, הלקוח עכשיו עם Attention span מאוד קצר, נכנס לאתר שלך מחפש... לפעמים כותב... הייתי עכשיו הייתי לא מזמן בכנס של מוקד סרץ' שנקרא Haystack, ואחד הדברים שאמרו היו חבר'ה שם באמת מחברות גדולות של E-commerce ואמרו, לפעמים הם שמים שתי מילים. ומצפים שאתה תדע מה הם רוצים. איך אתה משתי מילים אמור להוציא כל כך הרבה סמנטיקה? והיה הרבה דיונים והרבה חוכמה, אינטליגנציה והרבה Engineering ו-Data science וכולי שנכנס לאיך אתה מוציא משתי מילים משמעויות מטורפות. אז בהחלט זה אתגר ו-Advertising זה הכסף הגדול שמזין את המנוע הזה. כן.

41:03 רן: אז אנחנו מדברים כבר 40 דקות ועוד לא אמרנו Agent. אז בוא נגיד Agent ונסיים עם זה. כן, אז אני חושב שאחד היוז קייסים המעניינים זה מה קורה כשאתה רוצה לאחזר לא מסמך, אלא איזשהו שיחה. כלומר, אתה נניח, יש לך איזשהו Agent ואתה רוצה להבין מה קרה בשיחה לפני זה, או להבין מה קרה בשיחות של לפני... שיחות אחרות, כלומר יש לך איזשהו מבנה נתונים שהוא Conversation. אוקיי? איזשהו Conversation ארוך. שהוא נבנה דרך אגב, כלומר זה לא מסמך שהוא סטטי אלא זה משהו שקורה ונבנה. איך מנועי חיפוש היום, איך OpenSearch ומנועי חיפוש אחרים למיטב ידיעתך בעצם יודעים לתמוך ב-Use case כזה, כי זה משהו שקורה כמעט לכל מי שמפתח איזשהו Conversational agent, הוא צריך לעשות איזשהו חיפוש בהיסטוריה של השיחה.

41:51 דותן: אז כן, Agents הפכו להיות צרכנים מאוד גדולים של מנועי חיפוש ונקודות ממשק מאוד משמעותיות. הייתי אומר בכמה מימדים. אחד, כולם מדברים על זה - RAG, כן? Retrieval Augmented Generation, ולא מבינים כי הילד הסקסי בסיפור הזה הוא ה-LLM, כולם מדברים על ה-LLMs, אבל לא מבינים שהעיגון של LLM... LLM יכול לעשות Hallucinations וכל מה שמחוץ ל-Training data שכבר היה לו, הוא מנותק. אז אתה צריך לעשות לו Grounding, לקרקע אותו לתוך או לעגן אותו לתוך מידע עדכני, ובקונטקסט שאתה יודע שהוא הנכון, זה ה-R של ה-RAG שזה בעצם, זה בעצם אותם Vector databases וכולי. זה אחד.

42:35 רן: אם לצורך העניין השאלה היא 'כמה עולות הנעליים?' אם אין לו מידע נוסף הוא ינפיץ לך מחיר, 50 דולר, לא יודע. הוא לא יודע על איזה נעליים אתה מדבר, נכון? הוא לא ילך לאינטרנט לבדוק מחירים כי יש מיליון מחירים, אבל אם תבוא ותגיד לו 'הנעל הזאת שמצאתי בדף הזה, כמה היא עולה?', אז ברור שהוא יודע לענות לך. אז זה מה שנקרא Grounding.

42:51 דותן: אז Grounding זה גם הקונטקסט של השיחה, וגם הייתי אומר יותר רחב, כי מתי יש לך את הקטלוג שלך וה-LLM שאתה משתמש שהוא LLM גנרי שהיה שהוא לא מכיר את המוצרים שלך, את ה-Part numbers, את הלא יודע מה אולי אפילו Customers שלך, אז הוא אף פעם לא ידע לתת לך תשובה מדויקת. אז קודם כל לתת את הקורפוס שהוא הקונטקסט הרלוונטי, הדבר הזה הוא בסופו של דבר Search. זה להביא ממנוע חיפוש, מוקטור, דאטה בייס, את כל הדוקומנטים שהם הרקע הרלוונטי ועכשיו את זה ביחד עם השאילתה, את זה תעביר ל-LLM ותשאל את השאלה. זה RAG טיפוסי. עכשיו, עם בלי Agents זה One-shot. מה זאת אומרת? אתה מריץ שאילתה דרך הזה ל-LLM ואתה מחזיר את ה-Output, אבל מה אין לך פה שום תהליך למידה בעולם הזה. אין לך יכולת למנף Tools חיצוניים, אין לך Validation, אין לך Retries, אין לך כלום. כשאתה מכניס Agent לתמונה, אז אתה יכול להתחיל לעשות דברים הרבה הרבה יותר אינטליגנטים, לאו דווקא דרך אגב לא רק Conversational, אבל אם נתמקד ב-Conversational אני חושב שמה שאתה נגעת בו זה באמת ה-Memory. ויש פה כמה סוגים של Memory. אתה דיברת על ה-Session memory, אני אאתגר אותך יותר מזה. מה קורה אם אני אמרתי לו לפני שלושה חודשים שאני אלרגי ל-X ועכשיו אני נכנס אומר תמליץ לי מוצרים לזה, זה לא אותו Session. האם אני עדיין רוצה שהוא יזכור בקונטקסט הזה שאני אלרגי ל-X או אני העדיפות שלי לצבעים בהירים בבגדים או משהו כזה? אז נגיד ב-OpenSearch הדרך שהתמודדנו זה לתת כמה Tiers של Memory. אחד זה ה-Session שהוא ה-Memory נקרא לזה ה-Short term, אבל גם Long term memory שהוא לא, נקרא לזה ברמת ה-Detail של כל השיחה המלאה, אבל הוא כן מוציא את התמצית מבחינת ה-Insights, ה-Takeaways, ואת זה הוא לוקח לשיחות אחרות. אז זה עניין מאוד מעניין.

44:41 רן: כן, סוג של כל יום לפני שאתה הולך לישון, תרשום את הדברים העיקריים שעשית. עכשיו את זה תאנדקס. או תעשה איזשהו סיכום של השיחות, ומאנדקס אותם בקטנה, ואחר כך אפשר לשלוף לפי זה.

44:51 דותן: בהחלט, בהחלט. ודרך אגב...

44:55 אורי: צ'אטים עושים את זה מדהים.

44:58 דותן: כן, כן, אז הם בסופו של דבר צריכים לממש איזשהו זיכרון כזה, כמו שדותן הסביר, כלומר...

45:03 רן: בדיוק. וגם הם מדי פעם צריכים לעשות Compaction לזיכרון ומדי פעם לשלוף משם עובדות... כן.

45:11 דותן: ועל גבי האייג'נטים האלה דרך אגב, ויש את זה מובנה, יש Agentic frameworks שלמים שאתה יכול ממש לפתח Conversational agents וגם Flow agents וזה ב-OpenSearch. מאוד מעניין זה מה אתה יכול לעשות מעל זה, ונגיד הנושא של חיפוש אג'נטי הוא משהו שהיום הוא מאוד מאוד מאוד חם. ושמה אתה בעצם לוקח Agent, ובדיוק העברתי על זה הרצאה עכשיו ב-Open Source Summit Europe, והיה מאוד מעניין כי ממש הראינו דוגמה. הרצנו דוגמה של חנות, ומראים ארבעה משתמשים שונים, מחפשים לך Dress watch. עכשיו Dress watch, אני לא יודע איך לתרגם לעברית, אבל בגדול זה שעון... זה חנות של Luxury shop כזה. והמטרה היא לחפש שעון שמתאים ללבוש שלך. אוקיי?

45:54 רן: בדיוק מה שאני עושה כל יום לפני שאני יוצא מהבית כמובן.

45:57 דותן: כן, לגמרי, גם אני, גם אני... ואני בלי שעון. אז אני אומר, אז בעצם והראינו שמה, אם אתה עושה Lexical search, תראה מלא שמלות ותראה מלא שעונים, אבל לא תראה Dress watches. ואז עכשיו השאלה איך אני מספק את ה... המונחים המקצועיים זה Specification ו-Personalization. אחד, Specification כי אני בדומיין מסוים, אני יודע שב-Luxury second hand shop, אז Dress watch מקבל משמעות מאוד מסוימת, זה אחד. שתיים, מה אם אני, אני ואתה, לא אותם בני אדם, שלושתנו, אז למה שהוא יתן... ל-Lexical search ואפילו Semantic search לשלושתנו יתן את אותם תוצאות. אבל, אם אני מביא Agentic search, כאן אני יכול להכניס Personalization. אני יכול לתת כ-Extra context, דיברנו עכשיו על ה-Cycle. חלק מה-Cycle המקדים, יכול להזין פנימה שזה הג'נדר, וזה הגיל, וזה ההעדפות, וזה אולי...

46:49 אורי: וה-Price range כי זה Entry level וזה ההוא, הספן כזה שמחפש שעונים ב-15 אלף דולר וכולי וכולי.

46:56 דותן: ואני, אתה ואתה לא נראה את אותם תוצאות בגלל ה-Personalization וה-Specification לדומיין. אני חושב שזה מאוד מאוד מעניין, וזה אם דיברנו נחזור עכשיו ל-AdTech ונחזור עכשיו לגוגל ונחזור לזה... זה מה שמייצר חוויה אחרת לגמרי, כי פתאום הוא מדבר אלי ולא איזה משהו גנרי.

47:15 רן: מעולה. אז אני מרגיש שהגענו לשליש מהנושאים שרצינו לדבר עליהם אבל הזמן שלנו תם. אז כמה ככה מילים לסיכום, קצת על AWS בישראל, זאת אומרת, איך פחות או יותר זה נראה, איפה אתם נמצאים, מה מה עושים שם לפי מה שאתה... אני יודע שאתה גלובלי, אבל בכל אופן אני מניח שאתה קצת מכיר את הברנז'ה הישראלית, אז מה מה קורה שם?

47:41 דותן: יש אתר מאוד פעיל בישראל. יש גם בחיפה וגם בתל אביב. תמיד מחפשים אנשים טובים אז אני באמת מזמין את מי שאוהב טכנולוגיה ומתחבר, לבדוק את ה... באמת את ה-Job offerings. ותרבות אני חושב שגם מאוד טובה, מוכר מאוד בתעשייה פה בקהל המקומי. ואני כן רוצה אבל אולי לקראת סיום לחזור חזרה לאופן סורס ולאופן סרץ' בתור מישהו שזה בדמו. אני באמת רוצה להזמין את החבר'ה, היופי, אחד הדברים, זה באמת שזה אופן סורס, זה אומר שזה של כולנו. זה לא שלי, זה לא של AWS, זה לא של אף אחד אחר, זה של כולנו. ולכן אם אתם מתחברים ואם אתם משתמשים ב-OpenSearch, אני מעודד אתכם, להיות מעורבים, לתרום. התרומה לא חייבת להיות בקוד, גם אם אתם לא אנשי ג'אווה והליבה היא ג'אווה (קודם כל יש כבר הרבה יותר מ-ג'אווה, תמצאו Rust ותמצאו Python ותמצאו עוד מלא), אבל נעזוב רגע את השפות תכנות, זה יכול להיות ברמה של פשוט לפתוח Issues, באגים, Tech docs, מה שזה לא יהיה, להיות מעורבים, לעזור להשפיע מה ה-Roadmap קדימה. יש Technical Advisory Groups, ויש מלא פורומים. יש לנו User group כאן בארץ, בתל אביב, OpenSearch Tel Aviv, ויש מלא User groups במקומות אחרים בעולם, יש לנו מאזינים שיושבים איפשהו. וכולי... אז באמת תהיו מעורבים, אם אתם מתחילים בעולמות התוכנה ואתם מחפשים איזה Open Source פעיל ואטרקטיבי ו... אז אני חושב שזה מקום מאוד מאוד מעניין להיכנס ולהשתלב ולראות את התוצאות שלכם, אז אני באמת מזמין את כולם לפנות, להיות מעורבים. ודרך אגב גם אם זה לא OpenSearch, אבל אתם רוצים להיכנס, השד לא נורא כל כך ואתם תרגישו חופשי גם לפנות אליי אישית, אני אט-הורוביץ (Horovits) בכל המקומות, השם משפחה שלי זה תכלס ההנדל (Handle) שלי בכל המקומות, אז זה קל למצוא אותי. כי נראה מפחיד בהתחלה וכשאתה מתחיל עם זה אתה מגלה שזה באמת די נגיש וזה פתוח לכולם, והיופי זה שזה אתה לא צריך להיות בברנד או בכסף או בזה, כל אחד יכול... הדלת פתוחה לכולם, אז זה מעודד את כולם לקחת איזשהו Baby project שהוא רוצה לגעת בו ולהיכנס להובי הקורה, ואם זה ספציפית ל-OpenSearch וכולי אז גם אני אני פה בארץ, דובר עברית אז תרגישו חופשי לדבר איתי ואני אוכל לחבר אתכם לחבר'ה הרלוונטיים. יש לנו Slack מאוד פעיל, לא רק בישראל, כמובן עולמי, ויש פורומים ויש OpenSearch.org שיהיה האוטוריטה שלכם לקבל עוד מלא מידע על הפרויקט.

50:05 רן: וסחתיין שהצלחת להיות ההורוביץ הראשון באינטרנט ולתפוס את כל ההנדלים. אני בטוח שזה לא היה פשוט.

50:11 דותן: כן, זה בזכות זה שזה הורוביץ H-O-R-O-V-I-T-S. אז ה-Spelling המצחיק של השם משפחה שלי עזר לי כנראה לתפוס את ההנדל הזה בטוויטר, ובבלוסקיי ובלינקדאין ובכל המקומות האחרים.

50:25 רן: טוב. תודה רבה דותן, תודה שבאת ושעזרנו, ותפסנו אותך בישראל. להתראות.

50:31 דותן: כיף להיות איתכם, תודה. ביי ביי.