492 Podcast about Ella, the AI assistant at One-Zero bank

פרק מספר 492 של רברס עם פלטפורמה, שהוקלט ב-20 בפברואר 2025. רן מארח ב-Remote את עמית מהבנק הדיגיטלי One-Zero כדי לדבר  על פרויקט של בוט חדש - Ella - שמפותח בחברה.🎗️

 00:49 עמית ו-One-Zero

 

(רן)) עמית,  כמה מילים עליך וקצת על הבנק, אולי יותר מהזווית הטכנולוגית שלו?  שוט . . . 

• (עמית) אז קודם כול, נעים מאוד, אני עמית. 
• אפשר להגיד שפחות או יותר גדלתי בעולם הזה של AI ו-Machine Learning.
• התחלתי את הדרך שלי בתחום אי-שם,  כשהייתי בן 13 - למדתי מתמטיקה בתוכנית של הילדים שלומדים מתמטיקה באוניברסיטה. 
• התחלתי את התוכנית הזאת שנתיים מוקדם מהרגיל,  אז סיימנו את התואר וכל החברים שלי התגייסו לצבא ואני הייתי עדיין קטן,  אז נשארו לי עוד שנתיים.  
• בזמן הזה עשיתי תואר שני, גם כן בעולמות ה-Data,  שם התחלתי בעצם לראשונה להיכנס ולהיחשף לעולם הזה, והתחלתי לעבוד בתור מפתח תוכנה.
• אחרי שנתיים סיימתי את התואר, התגייסתי לצבא, הייתי חמש שנים כמעט ב-8200,  בתפקידים של מחקר טכנולוגי בכל מיני עולמות אקזוטיים.
• ואחרי כמעט חמש שנים של שירות הגעתי לחברת FinTech שקוראים לה Pagaya. 
• הייתי שם באזורי Data Science ו-Machine Learning.
• כש-Pagaya היא חברה שמאוד מאוד מאוד מבוססת סביב Machine Learning.
• מחלקת Data Science [שהיא] אחת הגדולות בישראל, כל המוצר של החברה בעצם סובב סביב העולמות האלה, אז זו הייתה ככה תקופה מאוד מגניבה. 
• ואחרי שלוש שנים ב-Pagaya הגעתי ל-One-Zero,  לנהל את המחלקה של הData ו-AI בבנק.
• כשבעצם התפקיד הזה של לנהל את המחלקה של Data ו-AI,  זה כולל, אפשר להגיד, שני כובעים מרכזיים:
• הכובע הראשון זה מחלקת Data, כמו בבנקים אחרים - Data Engineering, Data Analytics, Data Science,  מודלים על לקוחות . . .  כל השימוש, בעצם, במידע הפיננסי או המידע הבנקאי שקיים בבנק. 
• והכובע השני,  שהוא באמת הפוקוס של השיחה שלנו היום,  זה פיתוח של מוצר ה-Generative AI של One-Zero,  - אלה (Ella) - שהיא בעצם “בנקאית AI”.
• הבנק הוקם על ידי פרופ' אמנון שעשוע, שעושה AI בכל מיני תחומים, וב-One-Zero עושה AI בתחום הבנקאות.
• הראשונים בישראל לעשות את זה, ובין הראשונים גם בעולם. 
• ב-One-Zero - כמה מילים אולי על הבנק:  אז הבנק הוא בנק דיגיטלי,  הוא קם אחרי המון שנים שלא הוקמו בנקים חדשים בישראל. 
• בעצם הבנק - מעבר למוצרים הפיננסיים שלו, של הלוואות,  פיקדונות,  ניירות ערך, כל האזור הפיננסי - הבנק,  אפשר להגיד,  חרט על דגלו את ה...  “לתת שירות של בנקאות פרטית לכולם”. 
• זאת אומרת,  לבוא ולתת לכל לקוח של הבנק את החוויה הזאת של  בנקאי פרטי,  כמו שיש לאנשים יותר עמידים.
• והדרך לעשות את זה בעצם היא או באמצעות להעסיק המון-המון בנקאים, כמו שעושים בבנקים אחרים בעולם,  או באמצעות הרבה-הרבה שימוש באוטומציה ו-AI,  כמו שאנחנו עושים כאן.
• רק לסבר את האוזן על המספרים - היום ב-One-Zero,  מעל 80% מהשירות-לקוחות שלקוחות מקבלים מגיע, קצה-לקצה, באמצעות AI.
• זה מאפשר לארגון לגדול מאוד בכמות הלקוחות שלו,  בלי להגדיל את כמות הבנקאים שצריך להעסיק.
• אז זה, ככה, טיפה עליי וטיפה עלינו.

04:19 ארונות שחורים עם אורקלים שרצים בחושך

(רן)  מעולה. אז זה גם חושף את המוטיבציה ותיכף נדבר גם על אתגרים של איך בכלל עושים פלטפורמה כזאת של  AI ב-Setting של בנק,  שהוא מאתגר כנראה עוד יותר ממקומות אחרים, בהקשר הזה.

אבל אולי קצת לפני זה - אנ סקרן ואני חייב לשאול אותך:  אמרת שאתה מנהל את מערכות ה-Data של הבנק, ואני תוהה, נגיד עד כמה עצם זה שהבנק הוא יחסית חדש ויחסית דיגיטלי, עד כמה זה משפיע על מערכות ה-Data שלכם,  למיטב ידיעתך, נגיד לעומת מערכות Data של בנקים אחרים? האם אצלם זה ארונות שחורים עם אורקלים שרצים  בחושך ואצלכם זה AWS, או שהדמיון רב על השוני?

• (עמית) אז אין ספק שיש יתרון עצום בלהיות ארגון שמתחיל את הדרך שלו בתקופה שכבר הטכנולוגיה מאוד מפותחת. 
• בסוף, כן - אצלנו, מן הסתם, הכל ב-AWS, הכל בענן,  עובדים עם הכלים הכי מתקדמים.
• ה-Data ב-Snowflake . . .  זאת אומרת, בסוף אנחנו בכלים הכי-הכי מודרניים ומתקדמים שקיימים. 
• לא עבדתי בבנקים אחרים,  אבל כן דיברתי קצת עם אנשים ושמעתי דברים מסביבי
•  אני יודע שבבנקים אחרים הושקעו מאמצים אדירים, ברמת עשרות ומאות-מיליונים, כדי בעצם לעשות תהליכים של דיגיטל, לעבור מאותן מערכות Legacy, שנבנו לפני עשרות שנים ,למערכות שהן יותר חדשות, יותר מתקדמות.
•  חלק מהבנקים הצליחו יותר, חלק מהבנקים עדיין בדרך.
• ואין ספק שזה שאנחנו התחלנו כשהטכנולוגיות כבר בשלות זה דבר שמאוד מאוד הקל עלינו באספקט הזה. 

(רן) בקיצור, יותר כיף אצלכם, לפחות בהקשר הזה.

• (עמית)  טכנולוגית, כן.

06:07 קורא לה

(רן) אוקיי, בסדר, אז בואו נעבור לדבר על Ella. אז Ella, כמו שאמרת, זה בעצם בוט שעוזר ללקוחות לקבל שירות לקוחות  ברמה של “לקוח פרימיום”, או לא יודע איך שנקרא לזה. זאת אומרת, עוזר לקבל החלטות, להבין מה המצב,  לעשות פעולות וכו’.  אז אולי אחד הדברים שאנשים, כשמגיעים לעולם של AI,  באים ועושים, זה פותחים את ChatGPT,  כותבים לו כמה שאלות או נותנים לו כמה משימות - וראה איזה קסם!  הכל עובד והכל מצוין,  ונראה שזה ממש קל . . .   כאילו,  אוקיי,  אז יופי,  אז אני אשים גם אחד כזה בבנק שלי. החיים כנראה מלמדים אותנו אחרת . . .

אז בוא ללמד אותנו - מה לימדו אותך החיים?  כלומר, כשבאתם לעשות את זה, מה מצאתם מאתגר? איך התגברתם על זה?  נצלול אולי לחלק מהמקומות האלה.

• (עמית) תראה, אז אני חושב שכמו שאמרת - וגם רואים את זה משיחות עם ארגונים אחרים - ארגונים בדרך כלל נוטים לחשוב ששילוב של AI במערכות זה הולך להיות קל, 
• כי כולם רואים את ChatGPT וכולם רואים את  ה-API ש-OpenAI חשפו וגם חברות אחרות - ואומרים לעצמם “אה, מגניב! אני אקח את ההודעות שהלקוח שולח, אני אעביר אותן לקסם הזה של ChatGPT ואני אקבל את התשובה חזרה!”
• ובחיים האמיתיים זה לא עובד, כי אני חושב שהיום אנחנו כבר . . .  העולם עבר איזושהי התבגרות, ולאט-לאט מבינים שזה לא עובד ככה, ושהעולם הוא מורכב.
• ובטח ובטח אם אתה ארגון רגיש או ארגון רציני,  אתה צריך לעמוד מאחורי מה שהעובדים בארגון שלך אומרים, גם אם זה “עובדי-AI” וגם אם מאחורי הקלעים יש מנוע LLM.

(רן) כן, אז בוא למשל . . .  אולי פה מישהו מכיר את הסיפור של Air Canada, שאני אזכיר אותו בקצרה - שהם גם יצרו איזשהו בוט,  איזשהו Chat שעוזר בשירות לקוחות, והאמת היא שאני לא יודע באיזו טכנולוגיה הם השתמשו מאחורי הקלעים,  אולי זה אפילו היה לפני עידן ה-GPT, אני לא זוכר מתי זה היה, אבל לפני כמה שנים -  ובעצם לקוח התייעץ עם אותו בוט, והבוט המליץ לו על איזושהי הטיסה,  וגם אמר שיש איזושהי הנחה,  וזו כמובן הייתה טעות. אבל זה היה מספיק בשביל הלקוח כדי, אם אני לא טועה, בסופו של דבר לתבוע את המחיר שאותו הבוט הציע ולקבל כרטיס במחיר אפסי -  אני לא יודע אם זה היה אפס לגמרי או פשוט מאוד נמוך -  וכמובן שהחברה הפסידה על זה, אבל הם היו צריכים לעמוד מאחורי האמירה של אותו בוט.  אז זו דוגמה רק לאחת מהסכנות שיכולות לקרות,  וכמובן שאם Ella הולכת להציע הלוואה בריבית של מינוס עשרה אחוז,  אז אתם בצרות גדולות . . .

• (עמית)  כן.  אז קודם כול - לגמרי.  יש מקרים כאלה, ואני מזמין אותך ואת המאזינים לחפש בגוגל כזה  “AI Failures”, ואפשר לראות המון מקרים של פדיחות ש-AI עשה ב-Production מול לקוחות.
• חשוב להגיד -  יש את המקרים הגדולים של Chevrolet הבטיחה רכב בדולר, או Air Canada, כמו שהזכרת או מקרים כאלה דומים.
•  אבל בסוף-בסוף בארגונים יש גם את החיים עצמם.  וכמו שאתה אומר, בסוף בארגון יש המון פרטים והמון תנאים ומוצרים,  ואם הלקוח קיבל הלוואה בתנאים כאלה או המרת מטבעות בתנאים כאלה ואחרים,  זה דברים שיכולים להעלות לבנק באמת הרבה כסף.
• ולכן ה-Quality פה הוא סופר-סופר קריטי וזה לא מספיק לנו להשתמש במערכות שנותנות 80% דיוק או 90% דיוק. 

(רן) כן, אז בעיה אחת שעולה פה - בוא ניתן לה שם - נקרא לזה הליביליות (Liability) או אולי האחריות או היכולת: הצורך של הבנק לעמוד מאחורי המילה של אותו בוט,  ולכן אנחנו גם לא היינו רוצים שהוא יגיד שטויות וימכור אותנו בזול מדי . .   אז אחד זה ליביליות.

מקודם רמזת על, נגיד, השימוש לצורך העניין ב-GPT בתור איזשהו Backend. כלומר, לוקחים את ה-Input של הלקוח, מעבירים את זה ל-GPT ומחזירים את התשובה ממנו. אז גם פה יש אתגר, נכון? כי זה מידע פרטי של לקוח, מידע פנימי של הבנק.  אתה כנראה לא רוצה לחשוף את זה החוצה - או לפחות לא As-Is לחשוף את זה החוצה. ואז יש פה את הדילמה של, אוקיי, מה אתה עושה? האם אתה “מלבין את המידע”?  זאת אומרת, אתה עושה איזושהי אנונימיזציה או משהו כזה, או שלחילופין אתה מוצא מודלים או מארח מודלים אצלך,  ככה שה-Privacy יובטח לך.  

אז זה כנראה אתגר נוסף, ואני בטוח שיש עוד.  אז אולי נדבר רגע על ה...  

זאת אומרת, אולי דבר נוסף - ותיכף נצלול לכל זה - זה שיש המון מידע פנימי, גם רמזת, המון מידע פנימי של הבנק, כמו איזה מבצעים כרגע קיימים, מה השער-ההמרה וכו’, מידע פנימי שאף LLM אי-שם בחוץ לא אמור לדעת את זה. זאת אומרת, הוא לא יודע להציע לך כי הוא פשוט לא מכיר את המידע הזה, כי זה מידע פנימי -  ואז השאלה איך אתה משלב את המידע הפנימי הזה ביכולות שלו.

רמזתי לכמה - אז בוא נצלול . . .

• (עמית)  כן, אז לגמרי.  אני חושב שיש את האתגרים, כמו שציינת עכשיו - יש את האתגרים שאתה יודע . . . כולם רואים מודלים, כולם מבינים שהם אתגרים, ויש גם, אגב, חברות שעוזרות להתמודד איתם.
• החל מ-Security ואיזה דברים אנחנו רוצים לחשוף . . .  אני אתן Spoiler אולי להמשך, אבל בבנק - הגישה ב-Security זה “גם וגם וגם וגם וגם”.
•  אז גם מלבינים וגם לא שולחים את המידע החוצה וגם לא חושפים שום דבר למקורות חיצוניים וגם עושים המון המון אבטחות על כל Input שנכנס למודל. 
• אז זה באספקט הזה.
• יש כמובן את כל העולם של הזיות או Hallucinations, שאנשים תמיד ששומעים על AI, הם מיד הם חושבים על “רגע, אבל לפעמים הוא אומר לי שטויות!  לפעמים אני שולח ל-ChatGPT שאלה ואני מקבל תשובה שלא קשורה למציאות!
• אתה אומר לו “רגע - מה פתאום, בעצם התשובה צריכה להיות ככה”,  והוא מייד מתקן את עצמו, שזה דבר שאגב בארגון שמתחייב על מה שהוא אומר, זה יכול להיות מאוד מאוד הרסני.

(רן) כן. רוצה סיפור מצחיק, דרך אגב, בהקשר הזה?  זאת אומרת, אני בטוח שיש הרבה, אבל הנה, סיפור אישי קורע לב:  יש לי ילדות ושם משפחה שלי הוא תבורי,  אז רציתי להראות להן איך מנוע השפה יודע להזות. אז שאלתי אותו, מיהם ההורים של יעל, מאיה ואביגיל? השמות של הבנות שלי - יעל, מאיה ואביגיל תבורי.  נחש מה הוא ענה?  כמובן, “שימי תבורי ובן אל תבורי” -  הם ההורים של הילדות שלי . . .  אז הם רצו לשאול אותי אם יש משהו שאני יודע ושאני לא מספר להן.

אבל כן, זאת אומרת - LLM, כשהוא לא יודע, אז הוא ממציא משהו שנשמע לו סביר סטטיסטית בשפה, ואז זה יכול להיות בסדר.  העובדות פחות משחקות אצלו, אבל זה כמובן אתגר רציני למי שבונה מוצר כמו שלכם.

• (עמית) לגמרי.  אז כל אלה הם באמת אתגרים שאנחנו -  כשאנחנו באים לבנות מוצר GenAI - אנחנו מיד נתקלים בבעיות האלה ובונים את המערכת בצורה שהיא מטפלת בכל הבעיות האלה לפני שהן קורות.
• בין אם זה רכיבים יעודיים כדי למנוע הזיות, בין אם זה יכולת לחשוף את המידע הארגוני שלנו למודל,  כדי שהוא לא ישתמש בדברים שהוא למד אי-שם באינטרנט.
• יש אתגרים גם של שפה - עם זה שהמודלים בעיקר טובים באנגלית ואנחנו פה מדברים בשפות שונות בישראל,  אז יש גם את האתגרים האלה.
• אבל אני חושב  שאולי הדבר  שהוא דווקא יותר מעניין לחברות  שרוצות באמת לבנות מוצרי GenAI ולשים אותם ב-Production,  זה הדברים שאנחנו רואים אחרי Production. 
• כשפתאום לקוחות לא כותבים בדיוק כמו שציפינו שהם יכתבו.
• ולקוח לא שואל אותנו אם הוא יכול לבצע פירעון מוקדם בהלוואה שהוא לקח, אלא הוא כותב “אני רוצה לשבור הלוואה”.
• עכשיו, ברור שאין דבר כזה “לשבור הלוואה” ב-Knowledge Base של הבנק, כן? הוא רוצה להגדיל מסגרת, הוא רוצה להמיר דולרים.
• בסוף יש...  ה-Input הוא . . .
• (רן) . . .אל תשלח אותו לזגג . . .  אם הוא רוצה להגדיל מסגרת, אל תשלח אותו לזגג, שיעשה לו מסגרת חדשה . . .
• (עמית) לגמרי. 
• (עמית) בסוף, אתה יודע, את הלקוח זה לא מעניין שהוא לא כתב כמו שאתה התכוונת שהוא יכתוב.
• הוא רוצה לקבל תשובה, ואם הוא לא יקבל תשובה, הוא יפתח Ticket לבנקאי - ואז הבנקאים יצטרכו לעבוד על הרבה פניות שהיו יכולות להיפתר לפני.
• אנחנו רואים שהרבה פעמים לקוחות גם - בין אם זה בתמימות - שואלים ומשתמשים במונחים לא נכונים
• או מתוך איזשהו רצון להשפיע על המערכת ולהתנהגות שלה.
• דברים שפוגשים ב-Production, כשנתקלים בעולם האמיתי.

(רן) כן, מעניין גם אם יש שוני - זו אולי שאלה קצת בפסיכולוגיה . . . - אם אתה יודע שעומד מולך בוט, ואני מניח שזה שקוף ללקוחות שלכם, אבל אם אתה יודע שעומד מולך בוט, האם אתה מתנהג אחרת? כלומר, כותב דברים אחרת, אולי  מנסה כמו שאמרת אולי “לעבוד עליו” באיזשהו אופן, שלבנאדם אמיתי לא היית עושה את זה?

• (עמית) כן . . .  אז קודם כל, לגמרי כן.
• ואני חושב שזה פוגש אותנו בשני מקומות - אחד זה  בצד של האמון של הלקוחות במערכת, ואחד זה באופן שבו הם מתנסחים מול המערכת.
• מהצד של האמון, אז ראינו בהתחלה - היום כבר פחות רואים את זה - אבל בהתחלה ראינו שהיו הרבה מקרים שלקוחות שאלו שאלה, קיבלו תשובה מ-Ella -  אבל הם כאילו לא סמכו על זה.
• הם כאילו אמרו “רגע, זה AI, הארגון לא באמת מחויב לזה” - והם היו הולכים ושואלים את הנציגים האנושיים בדיוק את אותן שאלות, בדיוק כמו שהיה לפני.
• והם היו מקבלים את אותה תשובה, כי הנציג האנושי גם כן רואה את השיחה שאותו לקוח ביצע מול Ella.
• והנחינו בעצם את הנציגים לבוא ולהגיד להם שהם יכולים לסמוך על התשובה שהם קיבלו מ-Ella - שהארגון עומד מאחורי מה ש-Ella אומרת, גם במקרים שזה “עולה לו”.
• וראינו, עם הזמן, שבאמת גם כמות הפניות מהסוג הזה הולכת ומצטמצמת, וגם שהלקוחות מרגישים באמת יותר בנוח, כי האירגון עומד מאחורי זה.
• הצד השני, מעבר לאמון, זה לגבי אופן ההתנסחות -  ואנחנו רואים בצורה מאוד מאוד מאוד ברורה, שלקוחות מדברים  עם בוט אחרת מאיך שהם מדברים עם אנשים, ולקוחות מדברים עם בוט היום אחרת מאיך שהם דיברו עם הבוט לפני חודשיים או שלושה.  
• תחשוב איך אתה מתנהל מול ChatGPT, נכון? בהתחלה כולם היו כותבים כזה Propmt-ים “Fancy” כזה - “תתנהג כאילו אתה ככה” ו”בבקשה, זה ממש חשוב לי” וכל מיני דברים כאלה.
• והיום זה כזה, לא יודע - ”תכתוב לי מייל”, כן?  זה הצורה שאנחנו מתנהלים עם...  
• (רן) היום אתה כמעט מצפה שהוא יקרא את המחשבות שלך . . .  “נו, תעשה את זה, לא הבנת?”
• (עמית) לגמרי, לגמרי. ואנחנו רואים שבסוף אנשים גם משנים את האופן שבו הם מתנסחים מול Ella,  לפי מה שהם רואים
• איך התגובות שהם מקבלים יותר טובות, מתי הם יותר מקבלים מענה.
• הם מבינים שאם הם שואלים את השאלה בצורה יותר מפורטת ויותר ברורה, אז הם יקבלו תשובה שהיא יותר מדויקת למה שהם רצו. 
• וזה, האמת, דבר שמצד אחד זה די מדהים לראות אותו - ומצד שני, הוא גם משפיע על הארגון בזה שאנחנו חייבים כל הזמן להתאים את עצמנו לאיך שלקוחות מתנהלים בשטח.

(רן) כן. דרך אגב, בעולם של Machine Learning ו-Data Science זה נקרא Data Drift.  כלומר, אתה סוג-של אימנת את המודל שלך על סוג מסוים של Data, ועם הזמן המציאות משתנה ואז יש לך איזשהו Drift או אולי Concept Drift זה אולי הדבר היותר נכון.  אבל כן, למרות שאולי פה ספציפית יכול להיות שאימנת, יכול להיות שלא אימנת . . .  זאת אומרת, לא דיברנו עוד אם עשיתם איזשהם Finetuning או לא,  אבל בלי שום קשר, “כיילת” את המערכת לסוג מסוים של התנהגות של משתמשים, ובסוף,  עם הזמן ואולי דווקא בגדל הפידבק הזה של המערכת,  אולי בגדל השימוש שלהם במערכת,  הם למעשה משנים את ההתנהגות שלהם ואתה צריך לכייל את המערכת מחדש.

• (עמית) כן, וחשוב להגיד שזה גם לא רק הלקוחות. 
• זאת אומרת, הלקוחות משנים את ההתנהגות שלהם - אבל גם במציאות משתנה, העסק משתנה, המידע משתנה,  היעדים העסקיים משתנים . . .
• זאת אומרת,  המערכת היא חיה כל הזמן - ואנחנו כארגון  צריכים כל הזמן להמשיך לעשות את ההתאמות,  גם במודלים וגם במבנה של המערכת כולה, כדי להמשיך לתמוך בזה.

19:02 שימוש פנימי ואלות שונות

(רן) דרך אגב - אותו כלי, או אולי כלים דומים, גם משמשים את עובדי הבנק בפנים?  כלומר, אם עובד הבנק רוצה לשאול משהו את המערכת שלכם,  האם הוא גם ישתמש בממשק דומה?

• (עמית) כן.  אז יש כלי AI אחרים בבנק, אבל בסוף Ella - היא מיועדת לשימוש של מול לקוחות, היא מציגה מידע שהוא נועד להיחשף ללקוחות.
• אגב,  יש עוד תהליכים שעוברים על פניות של לקוחות. זאת אומרת, אם יש פנייה שמגיעה בפועל כן לנציג אנושי - גם שם יש תהליך מבוסס-AI שעושה את ה-Handover הזה בצורה שהיא חלקה ואופטימלית עבור הנציגים.
• בבנק משתמשים בהרבה כלי AI, אבל ספציפית לא במוצר הזה של Ella.
• שווה גם להגיד - “Ella” זה שם כללי כזה, אבל יש לנו כמה “אלות ”שונות.
• יש Ella שמיועדת ללקוחות קיימים שצריכים לקבל שירות, יש Ella שמיועדת לעזור ללקוחות בתהליכי Onboarding, יש Ella שאמורה לעזור לנו לקנברט לידים (Convert Leads) ולהפוך אותם ללקוחות . . . 
• זאת אומרת,  יש כמה אזורים שונים שהם כולם Chatbot-ים מבוססי-AI עם מטרות ויעדים שונים בארגון. 

20:16 שפה חופשית

(רן) כן.  אוקיי -  אז בוא ננסה להיכנס אולי לחלק מהאתגרים ולדבר על איך פתרתם אותם.  נגיד, אז אחד הדברים שאמרת זה לקוח מדבר בשפה שהיא חופשית, שהיא “לא בנקאית”.  זאת אומרת, מעבר להיותה עברית, שזה כבר מאתגר, אלא גם משתמש במושגים שהם לא כל כך מקצועיים וצריך לדעת לתרגם את זה. אולי לפעמים מנסה לעשות Gaming למערכת הזאת. אז זה אתגר אחד. 

אפשר נגיד לדבר כמה דקות על איך אתם מתמודדים עם זה? איך אתם מתרגמים את ה-Input של הלקוח למשהו שהוא  יותר מפורמל ויותר מתאים למנוע שפה?

• (עמית) אז אולי אני אחלק את התשובה לשניים - יש את ההתמודדות הספציפית עם הבעיה הזאת ויש את ההתמודדות באופן כללי עם בעיות,  נקרא לזה “מהסוג הזה”. וספציפית במקרה הזה אנחנו משתמשים ב  . . . 
• המודל הזה של Ella  זה לא איזה מודל LLM אחד שעשינו לו  Fine-Tune, שיכיר את המושגים שלנו ומפה הוא חי ומסתדר.
• בסוף,  כשבונים Agent, יש לנו המון המון מורכבויות שונות שאנחנו צריכים להכיל.
• זה החל מעל מה מדברים? איך מדברים? איך מנסחים את השאלה של הלקוח? איך אנחנו כותבים את ה-Knowledge שלנו? איך אנחנו מחפשים ב-Knowledge שלנו? איך אנחנו מגדירים מה מותר ומה אסור? ובאמת הרבה  מרכיבים שונים . . .
• אני חושב שאחד הדברים שאנחנו עשינו יפה ב-One-Zero זה לזהות את האזורים השונים שאנחנו רוצים להתמקד בהם,  ובמקום לבנות מודל אחד גדול שהוא מין מודל ג'נרליסט (General) כזה,  שיודע לעשות הכל ב-80%,  לקחנו משימות יותר קטנות, יותר קונקרטיות של השלמה של טקסטים, או קלסיפיקציה (Classification), או תרגום, או זיהוי של פרטים או ישויות, כל מיני אזורים כאלה שונים בתהליך.
• ובנינו באמצעות הרבה מודלים שונים מערכת אחת שפותרת בסוף את הבעיה העסקית הזאת.
• לדוגמה, אחד המודלים שיש לנו זה מודל של תרגום, שהוא מודל יעודי שפיתחנו אצלנו, שמיועד להתמודד בדיוק עם האתגר הזה
• של אחד - לקוחות כותבים בצורה שהיא לא תמיד בדיוק מה שהמודל מצפה לצרוך. 
• ושתיים - לקוחות כותבים לפעמים בצורה שהיא “חסרה”.  זאת אומרת, המודל תרגום שלנו גם כן מבוסס על LLM-ים, שספציפית אנחנו עושים להם Hosting פה פנימית אצלנו,  ומאמנים אותם למטרות שלנו, שאמורים להכיר גם את הטרמינולוגיות (Terminology) שלנו וגם את  הדברים שאנחנו רואים בפועל, בשטח, שלקוחות שואלים עליהם.
• זאת אומרת,  יש ממש אנשים שמבצעים את התחזוקה הזאת  ויודעים כל הזמן “ליישר את המערכת” בהתאם למה שקורה בשטח.  

(רן) לצורך העניין,  אתה יכול מדי פעם לעדכן,  נגיד,  את ה-System Prompt, ולבוא ולהגיד “אם הלקוח שואל על זה ועל זה,  אולי הוא מתכוון לזה, אם הוא שואל על זה, אולי הוא מתכוון לזה”.  זאת אומרת,  לייצר איזה שהם . . .  גם אוסף של דוגמאות ואפילו פתרונות ספציפיים כי זה כל כך נפוץ,  אז לפעמים זה פשוט Mapping מאחד לאחד,  אבל זה לא המודל המרכזי, או בעצם במילים אחרות -  אתה אומר שיש פה כמה מודלים שמשחקים. אחד מהם אחראי אולי לשלב התרגום מהשפה חופשית והעממית והעברית,  למשהו אחר שיותר קל ל-LLM הבא או לרכיב הבא,  אולי זה אפילו לא LLM, אבל לרכיב הבא לעבוד איתו. אבל בגדול, יש פה איזשהו Pipeline של רכיבים, חלק מהם זה מנועי שפה, חלק מהם אמרת מקודם שהם לא בהכרח. כמו שאומרים, לכל בעיה במדעי-המחשב יש בעיה ב-N+1 אבסטרקציות,  אז אפשר להוסיף משהו מעל . . .

אז בעצם,  אם אני מבין נכון,  בעצם השכבה הראשונה זו איזושהי שכבת “Routing” שמבינה, כאילו, מה הבן אדם רוצה ולאן לנתב את המשך השיחה.  ככה זה בנוי?

• (עמית)  אז אפשר להגיד . . .   Routing בעצם זה,  הייתי אומר אולי השלב השני.  אני אתאר אולי מאוד ב-High-Level את המערכת.
• השלב הראשון הוא להבין בכלל מה המשימה שאני צריך לבצע.
• בסוף,  אם אני בונה עכשיו בנקאית-AI,  אני רוצה להסתכל על זה כאילו מדובר על בנקאי אנושי.
• ואני אומר, אם עכשיו לקוח היה כותב את ההודעה הזאת ב-Chat,  מה המשימה הקונקרטית והקוהרנטית שהבנקאי עכשיו צריך לבצע,  בהינתן הלקוח הזה - ההיסטוריה שלו, המידע שלו, היסטוריית השיחה עד עכשיו וכל מה שהבנקאי צריך לדעת כדי לבצע את המשימה?
• אז הרכיב הראשון הוא גם כן רכיב שמורכב מכמה מודלי שפה - LLM-ים ומודלים אחרים -  שמטרתו לתרגם שיחת Chat לשאלה או למשימה קוהרנטית (Coherent) שלבנקאי, לצורך העניין, הייתי יכול לפתוח לו טיקט עם המשימה הזאת.
• בשלב השני יש מערכת Routing, שמפנה כל משימה...  

(רן) אני מניח שבכללי זה נקרא Intent, נכון? כלומר, מה הכוונת הלקוח ואיך אני עכשיו הולך לעבוד איתו על זה? אוקיי. 

• (עמית) כן, מה היא כוונת הלקוח - וספציפית פה, אנחנו גם משלבים את זה לא רק עם הכוונה של הלקוח אלא גם ממש עם המידע שלו.
• המידע האישי שלו, המסלול שבו הוא נמצא, העסקאות שהוא ביצע...  
• (רן) כן.  כלומר - אם יש לו הלוואה שכרגע פעילה, אז אתה צריך להבין את זה כי יכול להיות שהוא שואל על זה.  אם אין לו כרגע הלוואה זה כנראה משהו אחר. 
• (עמית) לגמרי.
• (עמית) אחרי זה, כשיש לי כבר את המשימה הזאת ביד,  אז אני מסתכל על זה ממש כאילו זו משימה שהייתי יכול לתת למישהו מהבנקאים פה בארגון לבצע.
• ואני לוקח את המשימה הזאת ומפנה אותה לאחד מכמה מנגנונים שונים שיש לנו, שיודעים לפתור משימות.
• כי בסוף,  גם פה זה לא מודל אחד.
• הדרך שלי לענות לשאלה חישובית על אלפי טרנזקציות שיש למישהו בכרטיס האשראי, היא שונה לחלוטין מהדרך שבה אני רוצה לענות לשאלה שמישהו שואל על  ייעוץ פיננסי או על “איזה פיקדון הכי משתלם בהתאם לצרכים שלי?”  או משהו על התנאים של הבנק, של כמה יעלה לו להמיר דולר לשקל.
• ובכל אחד מהם יש לנו ממש מנגנון אחר, יעודי, לפתור סוג מסוים של משימות.

26:46 התאמות פנימיות וקופסא שחורה

(רן) אוקיי.  בעצם מה שרציתי לשאול אותך עכשיו זה,  כן, זאת אומרת . . . נלך רגע לעולם של Machine Learning “הקלאסי”, אוקיי?  אז כשעובדים בעולם ה-GenAI, יש אפשרות או להשתמש במודלים מוכנים מהמדף - אתה עדיין יכול לעשות להם Hosting פנימית - אבל לקחת דברים מוכנים מהמדף או לעשות התאמות.  חלק מההתאמות נקראות Fine Tuning, אבל לא כולן - יש סוגים אחרים של התאמות שאתה יכול לעשות.  

אז יש, נגיד, מקרים שבהם אתם לוקחים איזשהו מודל קיים - גדול, לא מדבר על עצי-סיווג, לא מדבר על העולם הקלאסי, אלא יותר על העולם של ה-GenAI - אתם לוקחים ואתם עושים לו אדפטציה פנימית?

• (עמית)  אז לגמרי, עושים את זה בלי סוף - ואני חושב שאולי ממש בכל האספקטים ובכל המקומות.
• זאת אומרת, החל מלעשות Fine-tuning למודלים,  לבחון סוגים שונים של מודלים, לעשות טכניקות של Prompting - בין אם זה Prompt Engineering וטכניקות חדשות שמתפרסמות,  לא יודע, אולי להגיד ברמה יומית
• אפילו של איך נכון לבנות פתרונות דרך שיטות של RAG, חיפושים, איך שאנחנו בכלל מנסחים את ה-Knowledge שלנו, כל מיני שיטות Few-Shots למיניהם.
• אנחנו מאוד מאוד משתדלים לפתור כל בעיה עם הכלים המתאימים עבור הבעיה הזאת.

(רן) כן, אוקיי. אז עכשיו בוא רגע נסתכל על זה כקופסה שחורה - ועכשיו בא לקוח ומדבר עם Ella, ונגיד הוא אומר “אוקיי, אז עכשיו תעביר בבקשה 100 דולר מהחשבון הזה לחשבון ההוא”.  זה משהו ש-Ella תעשה? כלומר, היא באמת גם עושה את הטרנזקציות עצמן? היא באמת עושה פעולות שהן בלתי-הפיכות, לצורך העניין,  או שהיא רק מתמקדת בייעוץ עצמו?

• (עמית) אז אני חושב שפה זה קצת מופרד בין הטכנולוגיה או היכולת הטכנולוגית שיש לנו כבנק, לבין איך מתווכים את זה ללקוח.
• כי הגישה שלנו זה שלקוחות עדיין לא בשלים היום לתת ל-AI לבצע עבורם פעולות בחשבון בצורה עצמאית לגמרי, בלי יכולת שליטה על זה.
• מה שאנחנו עושים כדי לגשר על הפעם הזה זה שבעצם הגדרנו, אפשר להגיד, כל פעולה בתור רצף של שתי פעולות:  פעולה ואישור.
• ועכשיו, אם אתה רוצה להעביר כסף או לא יודע מה, לפתוח הלוואה, אז מה ש-Ella תעשה זה שהיא בעצם תגיד לך “אני מבינה שזה מה שאתה רוצה לעשות - בוא תלחץ ותאשר לי”
• או “הנה המסך עם כל הפרטים,  בוא תבצע את הפעולה בעצמך” -  אבל במין איזשהו Self-Serving כזה.
• ואנחנו רואים . . .  אמרתי קודם - בנקים אחרים, ארגונים אחרים, השקיעו מיליונים ועשרות מיליונים בשביל לעשות תהליך של מעבר ל-Digital.
• אבל אז אתה רואה שבסוף, כשאתה צריך משהו מהקרן פנסיה שלך, למרות שהכול מונגש לך בפורטל האישי,  מה אתה עושה? אתה שולח הודעה לנציג, נכון? . . .
• כי זה ארוך,  זה מסובך, זה מלא דפים, זה “לך תמצא עכשיו באיזה תפריט בדיוק נמצא הדבר שאתה צריך” . . . 
• והיכולת הזאת, לממשק שהוא טקסטואלי בשפה חופשית -  לכתוב מה אתה רוצה ופשוט לקבל את זה - זה דבר שאנחנו רואים שהוא מוריד בצורה מאוד  מאוד דרמטית את כמות הפניות שאנשים פונים לנציגים אנושיים בסוף, גם אם בפועל אנחנו לא עושים את הפעולה הבלתי-הפיכה בלי שיש להם שליטה על זה.
• עוד דבר שזה נותן,  אגב -  זה נותן לך את היכולת למצוא דברים בלי לדעת בדיוק מה אתה מחפש.
•  זאת אומרת, אם לפני כמה זמן נפלתי מהקורקינט, והייתי פה ברחוב בתל אביב ורציתי רק לראות איך אני עכשיו מקבל מענה מהקופת חולים לדעת מה אני צריך לעשות.
• ובסוף, כשאני במצב כזה - שכואבת לי היד ואני רוצה לדעת מה לעשות - אני לא רוצה להתחיל להיכנס לאתר של קופת חולים ולחפש בתפריטים איך אני מוצא את הדרך-פעולה והשעות פתיחה.
• אני רוצה לכתוב ב-Chat “נפלתי מהקורקינט, מה לעשות?”

(רן) כן, מה שנקרא “לקחת את הפרספקטיבה של הלקוח” - הכואב, במקרה הזה.

אז אתה אומר שלגבי פעולות שהם בלתי-הפיכות, לפחות הפעולות שבהן אתם בוחרים לתמוך, אתה אומר שיש ככה שני צעדים - אחד זה לשקף ללקוח מה עומד לקרות,  ואז לתת לו את היכולת להחליט האם זה מה שהוא התכוון - התכוונת להעביר כסף? התכוונת לקחת הלוואה? תלחץ על הכפתור,  it's done. 

אבל עדיין זה בתוך הממשק של הבוט, זאת אומרת - בתוך הממשק של Ella.  אתה לא שולח אותו לתפריט אחר בבנק ואתה אומר לו “הנה, אתה עושה כך וכך ו...”

• (עמית)  אז זה תלוי בפעולות, בפעולות שנתמכות בזה.
• ממש נפתח לך כמו כזה חלון שיחה קטן בתוך ה-Chat, שבו אתה עושה את האישור הזה. 

(רן) כן. 

32:01 השפעה על סביבת פיתוח תוכנה

(רן) אספקט אחד שלא דיברנו עליו,  וכן קצת דיברנו עליו בשיחת הכנה, זה איך פיתוח של מוצרים,  נקרא לזה “מוצרי AI”, משפיע על כל סביבת פיתוח התוכנה.  זאת אומרת, לא רק המדענים,  לא רק המתכנתים, לא רק המהנדסים - אלא גם אנשי המוצר,  לצורך העניין,  אולי גם אנשי QA.

זאת אומרת, איך בעצם State of Mind כזה של פיתוח מוצר מבוסס-AI משפיע על כל ה-Ecosystem של פיתוח תוכנה, ורציתי לקבל את הפרספקטיבה שלך - איך אתה חווה את זה?  זאת אומרת,  איזה שינויים אנשי מוצר לצורך העניין, אצלכם, עברו כדי לעבוד יותר טוב ב-Setting הזה?

• (עמית) אז אני חושב שבאופן כללי, זה אפילו לא רק אנשי מוצר, אלא ממש כל ארגוני הפיתוח או ארגונים טכנולוגיים באופן כללי.
• ואני חושב שנקודה שרואים זה שארגונים שמצליחים באמת לבנות פתרונות GenAI ב-Production, זה ארגונים שגוף הפיתוח בהם עבר איזשהו שינוי מחשבתי או שינוי תפיסתי - שמתחיל באזורי ה-Product, של בכלל איך אני מגדיר משימה?
• דיברתי לא מזמן עם חבר, שהוא CTO של סטרטאפ,  אז הוא ממש הפנה אליי את השאלה.  הוא אמר “איך אני מתאים את אנשי ה-Product אצלי בחברה לאפיין סוג הזה של מוצרים?”
• בסוף, איך אנחנו מגדירים מוצר בתוכנה סטנדרטית?  אנחנו מגדירים “יש מסך, יש כפתור, עושים ב-Figma, הם לוחצים,  אז קורה ככה” . . . “
• “אם יש את התהליך הזה, אז קורה את הדבר הזה” . . . 

(רן) פה הכל טקסט . . .  זה הכל טקסט, הכל Chat. איך תגדיר את זה?

• (עמית) נכון, וזה Chat שאתה יודע - יכולה להיות בו כל התנהגות, כן?
• אי אפשר להגדיר עכשיו סט של מאות-אלפי כללים:  “אם הלקוח כתב ככה, אז תעשה ככה, אם הלקוח כתב ככה,  אז תעשה ככה”.
• ובאמת דיברנו על זה קצת, ואני חושב שמשהו שהוא...  מה שעוזר לי לפחות להסתכל על זה בצורה קצת אחרת,  זה להסתכל על אפיון של מוצר GenAI באופן שהוא קצת יותר דומה אולי לכתיבה של תיאור משרה.
• זאת אומרת,  אני לא רוצה להגדיר בדיוק את ההתנהגות של...  
• כשאני כותב תיאור משרה, אני לא מגדיר בדיוק את ההתנהגות - ”העובד הזה, כשבאים, אומרים לו ככה, הוא יעשה ככה” - אלא אני כותב באופן כללי.
• קווים כלליים, יכולות, דרישות מאוד כלליות - אבל בלי התנהגויות ספציפיות.
• אבל אז מה שקורה זה שאני מגייס את העובד הזה, ואני שם לו מנהל - ואני מתחיל להסתכל מה הוא עושה בשטח אל מול ה...  בין אם זה אל מול הלקוחות או אל מול העובדים האחרים בארגון.
•  ולאט לאט אני...

(רן) . . . בוא נעצור פה,  בוא נעשה את התרגיל הזה:  אני עכשיו אהיה מנהל המוצר ואני אנסה להגדיר את דרישות התפקיד,  אוקיי?

• אז Ella תצטרך להיות מסוגלת לדבר עם משתמשים של הבנק, עם לקוחות של הבנק, בשפה חופשית,  זה אחד.
• שתיים - Ella צריכה לדעת עברית.
• שלוש, Ella צריכה להכיר את הלקוח ולהבין איזה...  כמה יש לו בעובר-ושב, כמה יש לו בפקדונות או הלוואות.
• וכו’.

זאת אומרת, זה פחות או יותר ה...  - עוד לא דיברנו על היכולות שלה, עוד לא דיברנו על פעולות,  אבל אני אצטרך נגיד להגדיר דברים כמו “היא תצטרך להיות מסוגלת,  להציע הלוואות בהתאם כרגע למדיניות הבנק או בהתאם למבצעים שיש”.  זאת אומרת,  זה סוג ה-Spec שאתה מצפה כיום לקבל מאנשי מוצר?

• (עמית)  אז אולי אפילו ברמה שהיא קצת יותר עמוקה.
• הייתי מצפה לקבל Spec כמו “Ella תהיה מסוגלת לחפש במאגרי מידע ולתת תשובות בהתאם למאגר הזה”; “Ella תהיה מסוגלת להגדיר גבולות-גזרה של על מה מדברים ועל מה לא”.
• עכשיו, את הגבולות-גזרה האלה אני לא צריך לקבוע מראש ב-Spec -  אני אגדיר אותם אחרי זה,  ב-Production.
• אני אראה מה קורה,  אני אעשה אולי איזה פיילוט - ואני אבין מה גבולות-הגזרה שאני רוצה.
•  אבל אני רוצה להגדיר שצריכה להיות היכולת להגדיר את גבולות הגזרה.

(רן) “הכנה למזגן”,  או “שומר מקום” -  זאת אומרת,  צריכים להיות איזה שהם Guardrails או גבולות-גזרה,  אנחנו נדע אחר כך מה הם בדיוק.

דרך אגב יכול להיות, במאמר מוסגר, שחלק מהם יהיה מאוד מאתגר לפתח - זאת אומרת,  יש guardrails שהם לא טריוויאליים בכלל - אבל זה בטוח יהיה n גדול מ-1 של Guardrails. . . .

• (עמית) כן -  וגם אנחנו רוצים להגדיר בעצם שתהיה לה מודל את היכולת להבין שהיכולת הזאת בכלל קיימת, כן? זה נראה לי הדבר המשמעותי יותר.

(רן) כן, הבנתי.  כלומר, ברגע שאתה...  נכון.  זאת אומרת,  יש פה איזשהו אתגר מוצרי: ברגע שמשתמש נמצא מול תיבת-טקסט נקייה,  אז זה אחלה ממשק, מאוד נקי ויפה, אבל מה עושים עם זה עכשיו?  מה אני שואל אותה - על מזג האוויר?  על שערי-המטבע?  על טיסות ליוון? . . .  מה אני עושה עם הקופסת-טקסט הזאת?

אז כשאתה מגיע ל-Google, כבר יש לך ציפייה, אתה יודע מה לעשות.  כשאתה מגיע היום ל-ChatGPT אתה גם יודע מה לעשות -  אבל כשאתה פעם ראשונה רואה את Ella,  אתה לא כל כך בטוח מה לעשות,  אז צריך לעזור ללקוח להבין מה עושים עם זה.

• (עמית) לגמרי - וזה גם אחד הדברים שאנחנו עבדנו כדי לפצח אותו בעצם, כן?  איך אנחנו מסבירים ללקוח מה המערכת יכולה.
• אז אנחנו,  כשמישהו נכנס, אם אתה לקוח של One-Zero ואתה נכנס ל-Chat,  במסך הבית אתה רואה כזה “שאלות לדוגמה” שאתה יכול לשאול.
• פעם בכמה זמן אתה מקבל איזושהי נוטיפיקציה (Notification) מאפליקציה שאומרת לך: “רוצה לדעת מה קורה בחשבון?” או “הנה קרה איזה אירוע,  בוא תראה איך הוא משפיע עליך”,  או “שים לב, זה מה שהיה אצלך - בוא תראה איזה דברים אתה יכול בעצם לקבל  מהמערכת הזאת”.
• וגם, אגב, במהלך שיחה ממש - זאת אומרת, יש לנו איזה מנגנון של כזה,  אנחנו קוראים לזה User Journey, כזה מסע הלקוח: שכשלקוח מנהל שיחה עם Ella, כל הזמן המערכת מציעה לו שאלות המשך שהוא יכול לשאול. 
• עכשיו, השאלות האלה זה לפעמים שאלות שאמורות לעזור לו לקבל תשובה -  אם זה לכתוב את השאלה שלו בשפה שהיא,  כמו שאמרנו קודם, עם הטרמינולוגיה הנכונה או דברים כאלה.
• אבל זה גם יכול להיות כדי לעזור לנו - בין אם זה לקדם את האג'נדות שלנו או להציג ללקוחות בעצם יכולות חדשות של המערכת.

(רן) . .   סוג של Auto-Complete - עוד לפני שהתחלת לכתוב או יותר כמו “Auto-Complete רעיוני”.  כלומר, אתה לא צריך לעשות Copy-Paste, אבל זה רומז לך מה אפשר לעשות.

גם במשקים ויזואליים לפעמים יש את הדברים האלה.  נגיד,  אתה רואה קרוסלה של תמונות ואחת מהתמונות חתוכה - בכוונה,  כדי שתבין שאפשר לגלול,  כדי שתבין שיש שם עוד,  שיש יותר תמונות בהמשך.  אז יש רמזים כאלה בהרבה ממשקים. 

38:48 הפרודקט ועוזריהם מעמים אחרים

(רן) ואולי גם עוד ממש ככה סעיף אחרון להיום: אחד הדברים שאמרת שגם מאפיינים זה שמי שכותב את הקוד ומי שמפתח - אולי לא נקרא לזה “קוד”, אבל שחלק מהמפתחים הם למעשה אנשי המוצר, או אולי אנשי ה-Support, אבל זאת אומרת שזה לא רק מהנדסי תוכנה אוקיי? זה לא רק Data Scientists, אלא יש Hook-ים לאנשים במקצועות נוספים, שגם הם  יכולים למעשה להשפיע על סביבת ה-Production - וזה By-Design.  כלומר, ככה בכוונה תכננתם את המערכת וככה זה עובד.  תוכל לספק דוגמאות כאלה?

• (עמית) כן, אז התחלתי להגיד קודם ואולי ניגע בזה, גם לגבי עוד שלבים בתהליך הזה, בתהליך של פיתוח.
• אני חושב שארגון הפיתוח צריך ממש לשנות את ה-Mindset שלו,  ולהבין שדברים נראים אחרת מאיך שהם נראו  לפני שנתיים או איך שהם נראים עכשיו שאנחנו מפתחים מוצרים אחרים.
• ואחד הדברים האלה . . .  זאת אומרת, זה עובר מאפיון של המוצר ולעשות Design וטסטים
• כשפתאום טסטים הם,  אתה יודע - “פתוחים”, כי התשובה שמתקבלת היא כל פעם שונה
• וזה לא “טוב, יש קלט, יש פלט,  בוא נראה שהם זהים”,  אלא צריך מודלים שיבדקו שהתשובות שלנו הן טובות.
• הניטור פתאום נראה אחרת . . .
• ואני חושב שאולי המפתח, באמת, הגדול בזה ש-Ella כל כך הצליחה, זה שיש לנו את ההבנה הזאת שהמודל הוא משהו שדורש תחזוקה בProduction - אבל לא רק תחזוקה שהיא טכנית.
• זאת אומרת, זה לא Service שאני צריך לוודא שהוא כל הזמן באוויר - יש לי אירוע של ניהול שאני צריך לעשות אותו כמו שאני מנהל עובדים אנושיים.
• ואני לא מכניס עובד לארגון שלי ואומר לו “תפאדל, דבר עם לקוחות - מפה הבמה שלך ואני אפגוש אותך עוד שנתיים”.
• כל הזמן יש ניטורים - עוברים על השיחות שלו,  נותנים לו הנחיות,  מעדכנים אותו על מוצרים חדשים,  עושים התאמות לפעמים בידע שחשוף אליו.
• זאת אומרת, כל הזמן הדבר הזה קורה - והוא לא קורה על ידי אנשים טכנולוגיים, הוא קורה על ידי אנשים מה-Business.
• ופתאום, כשיש עכשיו מבצע חדש או כשיש מוצר חדש או כשיש איזה יעד עסקי שמשתנה, מי שצריך להכניס את השינויים האלה במערכת, נקרא לזה הסוג החדש של הפיצ'רים למערכת - זה פתאום אנשים שהם עסקיים.
• זה אנשים שהם . . . ב-One-Zero,  זה אנשים שהם היו בנקאים בעבר, אנשים שהגיעו מחטיבת השירות.
• אנשים עסקיים, שעושים את השינויים האלה כל הזמן. 
• ואתה יודע - כשאנחנו מפתחים תוכנה, יש לנו כלים,  יש לנו תהליכים, רוטינות . . .  אף אחד לא יעלה ל-Production קוד שלא נכתבו עליו טסטים ולא עבר Review והוא לא מנוהל באיזה Version Control, נכון? [נכון?]
• אבל פתאום, כש”הקוד החדש”, נקרא לזה ככה -  זה עדכונים, בין אם זה של רכיבים, של Prompt-ים, של הנחיות,  של Guardrails וכאלה, ובין אם זה ממש דברים שהם בליבת המוצר, עדכונים עכשיו של ידע שנמצא ב-Knowledge Base שלנו, ב-Vector Database שלנו.
• האופן שבו הוא כתוב משפיע בצורה מאוד דרמטית על האופן  שבו המודל יהיה מסוגל לענות לשאלות של לקוחות אחרי זה.
• ולכן גם פה צריכים לקחת את כל התהליכים של התוכנה ולהטמיע גם באזורים האלה.

(רן) כן, אז אתה למעשה מדבר על ”ניהול איכות-הידע”, באיזשהו מובן. כלומר, אחד - שלא ייכנסו טעויות; ושתיים - שלא יהיו . . .  זאת אומרת,  מניח שיש עוד, אבל בין השאר גם שלא יהיו כל מיני Artifact-ים של שגיאה.  נגיד: במקרה מחקתי את הפסקה,  לא התכוונתי,  לא שמתי לב ועשיתי Commit וזהו,  נמחק לי איזשהו Block של טקסט שהוא היה חשוב. ואף אחד לא עשה לזה Review, כי זה פשוט נכנס ישר ל-Database . . .  אז זהו, אז עכשיו אף אחד לא יודע בכלל מה קרה, אין לך שום Trace של הסיפור הזה. אין לך Deployment, אין לך Commit Log, אין לך Versioning - כי אין גירסא, כי זה Data. 

אז יש פה הרבה אתגרים . . .

• (עמית) אני חושב שאחד הדברים שאנחנו כן עשינו זה שאנחנו ממש מתייחסים לזה כמו עוד קוד.
• שאומנם כותבים אותו אנשים שהם לא מתכנתים במקצוע שלהם - אבל בסוף זה . . . נקרא לזה “קוד Production”
• וזה יכול להיות הידע וזה יכול להיות הנחיות או יעדים או קונפיגורציות כאלה ואחרות - כל האזורים שבהם ה-Business פוגש את הטכנולוגיה,  המקומות שבהם Ella מקבלת את ההוראות העסקיות לאיך שצריך להתנהל.

(רן) כן.

43:24 עוד קצת One-Zero לסיום

(רן) אוקיי - סופר מעניין, אבל אנחנו כבר חורגים הזמן, אז אנחנו נצטרך לסיים.

אז אולי ככה לפני סיום, עוד כמה מילים על One-Zero -  מגייסים, מחפשים? איפה אתם נמצאים?  ספר לנו.

• (עמית)  כן, אז מגייסים, מחפשים: 
• אנשים שאוהבים AI, שזה “בעצמות שלהם”.
• אני חושב שבתחום הזה, שהוא כל כך מתפתח - ברמה יומית יוצאות טכנולוגיות חדשות ושיטות חדשות ומודלים חדשים, מודלים יותר חכמים, יותר זולים, יותר מהירים - אנחנו צריכים המון Passion לדבר הזה כדי, נקרא לזה, לעמוד בקצב.
• זה סופר-מעניין,  סופר-מרגש, לעבוד על דברים שהם ממש ממש בקצה הטכנולוגי 
• ברמת של לפעמים לפתור בעיות, ואז אחרי כמה חודשים לראות שמישהו נתן שם לפתרון שמצאת באיזה מאמר או באיזה מוצר אחר.
• זה ספרינט מטורף, מאוד מאוד ארוך. אני מאוד מאוד נהנה מזה וממליץ לכולם להצטרף.

(רן) ספרינט שהוא מרתון - הכי כיף.

• (עמית)  כן, ספרינט באורך של מרתון . . . 

(רן) כמו שאומרים - מתחילים הכי חזק ולאט לאט מגבירים.

 טוב, אז תודה רבה לך ובהצלחה!

[קישור לקובץ mp3] 

האזנה נעימה ותודה רבה לעופר פורר על התמלול!