פרק מספר 491 של רברס עם פלטפורמה, שהוקלט ב-11 בפברואר 2025, יום חורפי במיוחד. אורי ורן מארחים בהפסקת אש את עודד מחברת DataRails לשיחה על איך עושים AI (חביב-הקהל בפרקים האחרונים) בעולם ה-Finance והאתגרים המאוד מיוחדים בעולם הזה. 🎗️
(רן) אז קצת לפני שנצלול פנימה - עודד, קצת עליך וקצת על החברה, שנכיר?
- (עודד) טוב, אז אני עודד הר-טל.
- בן 49, זה גיל שעוד אפשר ככה להגיד חלש, לא לעוד הרבה זמן. נשוי, אב לארבעה, גר בבית חשמונאי, בשפלה.
- בעולמות האלה - בעולם ההייטק - כבר יותר מ-25 שנה.
- עשיתי מספר משרות, בעיקר בעולמות של פיתוח אלגוריתמים, פיתוח תוכנה, ניהול פיתוח . . .
- ולפני עשר שנים חברתי לדידי גורפינקל ואייל כהן, והקמנו ביחד את חברת DataRails, כשאני בעצם משמש בה כ-CTO, המוביל הטכנולוגי.
- וזהו, מאז אנחנו שם . . .
(רן) אוקיי, אז אמרנו “בעולם ה-Finance” - קצת יותר פרטים, מה אתם עושים?
- (עודד) אז בעצם DataRails היא חברה שמוכרת מה שאנחנו קוראים “FinanceOS”: מערכת הפעלה פיננסית לארגונים.
- הכוונה היא בעצם ללכת למחלקות הפיננסיות, שבעצם קיימות בכל ארגון, ולמכור להן . . .
- אנחנו התחלנו במקור בתוכנה אחת, בתוכנה בתחום שנקרא Financial Analytics and Planning, FP&A, שבעצם עוזרת לאנשי ה-Finance לעשות את הדוחות הכספיים, לעשות אנליזות של הנתונים הפיננסיים שלהם.
- והיום, עם גדילת החברה, אנחנו גם מנסים, ובעצם מפתחים סוויטה שלמה של מוצרים, שכולם מיועדים ל-CFO Office.
- אנחנו מוכרים לחברות בדרך כלל קטנות-בינוניות - נגיד סדר גודל של 100-200 עובדים - בעיקר בארצות הברית . . .
- (רן) כלומר, לצורך הדיווח, לצורת התכנון, לצורך ...
- (עודד) כן, בדיוק. אני מניח שהרבה מכירים את מה שנקרא, נגיד, “דוח רווח או הפסד” או “דוח תזרים מזומנים” . . .
- אז זה דוחות שבעצם כל חברה עושה - פעם בחודש, פעם ברבעון - והתהליכים של להכין את הדוחות האלה הם תהליכים שהם, ככל שהחברה יותר מסובכת, זה תהליכים מסובכים, שהם מועדים להרבה מאוד טעויות.
- אבל הם בעצם מספרים את הסיפור של החברה.
(רן) אמרת “טעויות” - אמרת “AI” . . . . תיכף נגיע . . .
- (עודד) גם AI עושה הרבה טעויות, כן.
(אורי) אבל איפה המקום של התוכנה שלכם, או הפתרון שלכם, לעומת ה-ERP של החברה, או... ?
- (עודד) אוקיי, אז בעצם מערכות ה-ERP הן מערכות שמאפשרות בעצם . . . הן בעצם “מנהלות”אני אקרא לזה, את הטרנזקציות, את הפעולות השונות שקורות בחברה.
- אבל בסופו של דבר, אותה מחלקת Finance - אחד הדברים שהיא עושה, זה שהיא לוקחת את הנתונים מה-ERP
- בעצם “שואבת אותם” - למעשה, מערכות ה-ERP הן מערכות-מקור למערכת שלנו, אחת ממערכות המקור.
- ובעצם מתחילים לבנות על גבי המידע שמגיע מהמערכות האלה אנליזות שונות - בואו נעשה אגרגציה (Aggregate) של כמה הרווחנו החודש, כמה הפסדנו החודש . . .
- בואו ננסה להשוות את זה לתקציב שלנו, לתכנון שלנו.
- בואו נחתוך את זה עם המידע מה-Salesforce, או מידע ממערכת אופרטיבית אחרת, נבין איפה אנחנו חזקים, איפה אנחנו חלשים.
- ממש, נעשה אנליזה של . . .
- בעצם, נסתכל על הפעילות המסחרית של החברה דרך עולם ה-Finance.
(אורי) ולכן זה יותר מתאים לפונקציות כמו FP&A . . . ומה המקומות החדשים, האחרים, שאתם נכנסים אליהם?
- (עודד) אז ברגע שבאמת הבנו שהמקום שלנו זה אותו משרד ה-CFO, אותו המקום שבו בעצם מנהלים את הכספים, אז יש עוד סט של צרכים משלימים.
- כמו למשל ניהול ה-Cache, ניהול ה... זאת אומרת - חשבונות הבנקים: מה נמצא, כמה נמצא בפקדונות, . . .
(אורי) . . . מה שנקרא “Treasury” . . .
- (עודד) Treasury זה מונח שאני חושב שיותר מתאים לחברות גדולות, אבל באופן כללי, Cache Management.
- חברה, בטח חברה שהיא בינלאומית, או שיש לה כמה סניפים - בדרך כלל יש לה כמה חשבונות בנק, לפעמים גם עשרות.
- אז למשל, סוג אחד של תהליכים שמשתלב באותו תהליך של Reporting זה ניהול המזומנים, ניהול Budgeting ו-Forecasting, כל נושא של...
(אורי) Budgeting ו-Forecasting זה “הפורטה”, זה FP&A . . .
- (עודד) כן, זה חלק - למרות שיש אומרים שה-FP&A “הקלאסי” זה באמת לעשות את הדוחות של מה שאנחנו קוראים “ה-Actuals”, מה שקרה “באמת”, וזה עוד נדבך של ה...
(אורי) ה-Planning הוא יותר ה-Budgeting ו-Forecasting . . .
- (עודד) כן, כל עולם ה-Planning.
- עולמות אחרים שאנחנו מסתכלים - מעולמות של Expense Management, ועוד כהנה וכהנה.
(אורי) Tax?
- (עודד) Tax, אני חושב, זה יותר חלק מעולמות שכבר קיימים בדוחות הקיימים.
- אנחנו היום לא מסתכלים על איזשהו משהו ספציפי בכיוון הזה.
- כל מיני Workflow-ים שקורים ב...
(אורי) נראה לי שכשה-AI יגיע ל-Tax, הוא יחתום ויתור, הוא יתפוצץ . . . . הוא יגיד “עד כאן”.
- (עודד) אני חושב . . . אני חושב שדווקא תתפלא, כי אני חושב שבסופו של דבר - וזה אולי נספר בהמשך על אחד הדברים שאנחנו מסתכלים עליהם - אבל עשינו איזשהו סקר.
- אצל הלקוחות שלנו, הרבה CFO-ים - איך אתם משתמשים היום ב-AI הזמין, ב-ChatGPT?
- אז אחת התשובות שדי הפתיעו אותנו זה שאנשים מתייעצים בו בנושא של תכנוני מס . . .
- מכיוון שבסופו של דבר, יש לו גישה לספר החוקים של אותה מדינה שבה הם נמצאים, ולפרסומים השונים של הממשל בנושא מס - אז דווקא באופן מפתיע, יש שם משהו שיכול להיות מעניין.
(אורי) זה הגיע גם לרשות המיסים בישראל? כי פה שערי-מיסוי נקבעים על השולחן מול ה...
- (עודד) תראה עוד פעם - זה משהו שהוא כרגע . . . משהו שאנחנו עוד בשלב של Exploration של הדבר הזה.
- אבל אני מניח שכן - בסופו של דבר, דאטה זה דאטה.
06:55 הכלים החדשים
(רן) אז אני אעצור שנייה את שני אנשי ה-Finance פה ואני אשים רגע את “כובע המהנדס” . . .
(אורי) בחיים לא אמרו לי דבר כזה, רן . . .
- (עודד) . . . זה קצת מעליב, אני קם ועוזב . . .
(רן) . . . אני מנסה לעקוב אחרי מושגים לאט לאט. אז בעצם, מה שאני שומע פה זה כך - קודם כל, אתם מייצרים איזשהו כלי שעוזר ל-CFO ולמחלקות שלהם להיות פרודוקטיביים; הדאטה שאיתו אתם מתעסקים, אני מניח שהוא הרבה מאוד טבלאי, חלקו טקסטואלי ואולי גם סוגים אחרים; ואתם נותנים כלים - ואני מניח שהקיום שלכם היה עוד לפני המצאת ה-AI ב-Incarnation הנוכחי שלו.
אבל בוקר אחד קמתם וראיתם, רגע, אולי אפשר להשתמש בכלים החדשים שיצרו פה כדי לשפר את המוצר.
אז בוא ניכנס לסיפור כזה, כלומר- איזה פיצ'רים בתחום הזה בחרתם לאמץ, ואיפה זה היה מאתגר, ומה למדתם משם?
- (עודד) אז האמת היא שכמו שאתה אומר - הבוקר הזה באמת הגיע, אי שם בתחילת 2023.
- אני חושב שאנחנו - כמו בערך כל התעשייה - עמדנו נפעמים מול אותו כלי מופלא, אותו ChatGPT שהתחיל להדהים את כולנו, ובאמת התחיל לגרות את הדמיון שלנו.
- ואנחנו - אחד הדברים שעוד לפני שידענו מה אנחנו רוצים לעשות, קיבלנו החלטה שאנחנו All-In בדבר הזה.
- זאת אומרת שברור לנו שהדבר הזה הולך לשנות את העולם, והוא ישנה תחומים רבים בתעשייה.
- ובעצם כל כלי שאנחנו מכירים ינסה לאמץ את הטכנולוגיה הזאת בשלב כזה או אחר.
- ואנחנו אמרנו שאנחנו - בעולם שלנו, ב-Domain שלנו - רוצים להיות הראשונים והמובילים בתחום הזה.
- ולכן, הדברים הראשונים שבעצם עשינו, זה קודם כל אמרנו, אוקיי, בואו אחד - נלמד את התחום הזה, שקצת נבין מה ומי.
- כי עוד פעם, זה . . אני מניח שזה תחום שלמעט אנשים שהתעסקו בעולמות של NLP ועולמות כאלה, הוא חדש לרובנו.
- למרות שנגיד אני - אני במקור הגעתי מרקע של אלגוריתמים, בכלל בעולמות של עיבוד תמונה, שהיו כותבים קוד ב-C ו-++C, זה לא עולם שקיים היום . . .
- אז התחלנו לדבר עם הרבה מאוד אנשים - מסתבר שיש הרבה חבר'ה שגם משמשים כיועצים בעולמות האלה, וגם אנשים ש . . .
- עוד פעם - בתחילת 2023, לא היו הרבה אנשים שהתעסקו ב-Prompt Engineering, או בלעבוד עם מודלים כאלה, כי זה היה משהו מאוד חדש.
- והיו אנשים שהם היו יותר מהעולם היותר ותיק של אימון מודלים, של בעצם...
- (רן) Machine Learning “קלאסי”ו-Data Science, כן . . .
- (עודד) ואני חושב שמהר מאוד הבנו כמה שזה תחום מאוד מאוד מעניין, ומאוד . . .
- בטח כמהנדס זה נראה . . . ובן אדם שבאמת הרקע שלו, ומאוד אוהב מתמטיקה, ודברים כאלה - זה היה נראה מאוד מאוד מפתה להתעסק בזה.
- אבל אנחנו חושבים שמהר מאוד מבינים, או לפחות מגבשים איזושהי הכרה, שבעצם העולם הזה של לאמן מודלים, לאמן כל מיני כאלה דברים, הוא עולם שמישהו אחר כבר עושה בשבילנו.
- ואנחנו יותר צריכים להתמקד באיך לנצל את העולם הזה - לא כל כך יודעים למה, כן? ברור לנו שרוצים לנצל את זה לתחום שלנו, אבל...
- ואנחנו כן מתחילים דווקא לחפש חבר'ה שמצד אחד מושך אותם העולם הזה
- הרי יש הרבה מאוד חבר'ה שאיך שיצאו “ה-ChatGPT-ים” והתחילו לחשוף API-ים, ויצאו כל הפרויקטי Open-Source הראשונים, הם ישר קפצו על זה.
- אז התחלנו לחפש חבר'ה כאלה שזה מאוד מושך אותם, אבל מהנדסים.
(רן) זה מעניין. אני רק אתן פרספקטיבה - בעצם, אתה אומר, היה לכם - יש לכם - מוצר, היה לכם מוצר, והייתה טכנולוגיה חדשה. ואז חיפשתם פיצ'רים שיתאימו לאותה טכנולוגיה - כלומר, באתם ואמרתם “אוקיי, זו טכנולוגיה שאנחנו רוצים שתהיה לנו בחברה, אנחנו עדיין לא יודעים למה, ובואו נמצא, בואו נבנה את הפיצ'רים שייטיבו עמה”.
- (עודד) נכון, ממש. התגבשה בנו איזושהי הכרה שזה הולך לשנות את העולם.
- אנחנו דיברנו עם המשקיעים שלנו, ואמרנו “אנחנו מוכנים, אנחנו רוצים להשקיע”
- ממש “לצבוע” סכום מסוים של השקעה לדבר הזה, וללכת חזק מאוד על הכיוון הזה.
(רן) ואנשי Machine Learning ו-Data Science “קלאסיים” - היו בחברה? זאת אומרת, היו לכם?
- (עודד) לא, ובאמת במהלך תהליך הגיוס, אני לפחות חשבתי, והיום אני אגיד ש...
- ההחלטה הזאת - אני כן מבין שקצת לא ברור לי אם היא ב-100% נכונה, שהכיוון זה פשוט ללכת ולגייס צוות של מהנדסים
- חזק, שגם יש להם את הרצון להיכנס לעולם חזק, ולבנות את ה-Ecosystem ואת ה-Infrastructure סביב הדברים האלה.
- אנחנו כן . . . אחד מחברי הצוות - גייסנו כן איש שמגיע מהתחום, מעולם ה-Data Science, ה-Data Analytics, אבל לא מעבר לזה.
12:01 פיצ'רים בשביל לפתח ב-AI או פיצ'רים שהלקוחות צריכים?
(אורי) אבל יש לי שאלה - אני לא הצלחתי להבין אם פיתחתם פיצ'רים בשביל לפתח ב-AI, או פיתחתם פיצ'רים שהלקוחות צריכים?
- (עודד) אז אנחנו בשלב הזה, כשאני . . . עכשיו אנחנו בסיפור, היינו באמת בתחילת הדרך.
- ואמרנו “אנחנו נמצא מה לפתח” - אבל ברור לנו שהתחום הזה של ה-AI, אותם מודלי שפה גדולים, הולך לשנות את העולם.
- אנחנו עוד לא יודעים איך לרתום את זה אלינו, אבל אנחנו לא נחכה שיבוא איזה לקוח ויבקש - אלא אנחנו ננסה לפתח כל מיני רעיונות ופיצ'רים בעולם הזה, ונראה לאן זה מוביל.
(אורי) אבל ראיתם את הלקוח, ב . . . ?
- (עודד) כן, בסופו של דבר ההסתכלות שלנו אמרה שאנחנו בסוף יושבים על כמות גדולה של דאטה של כל לקוח, דאטה שהוא דאטה מעניין.
- וה-Vision - אני אגיד “המאוד אבסטרקטי” - היה, בסופו של דבר, שיש אנשים שיושבים ומנתחים את הדאטה הזה, ומנסים להבין מה קרה בעסק.
- להגיד “המכירות עלו כי הסניף ב - לא יודע מה, באוקלוהומה - פתאום סגר עסקאות מאוד מאוד גדולות, הרבה יותר מאשר ברבעון הקודם.
- או שעכשיו שולי הרווח עלו כי עלויות, לא יודע מה, רכישת החומרים, עלתה בככה וככה אחוזים.
- אז ברור לנו שבסופו של דבר אנשי ה-FP&A, אנשים שעושים את זה, הם מסתכלים על הדאטה ומנסים לנתח אותו.
- החלום שלנו היה “בואו נבנה AI-based FP&A”. זאת אומרת, מישהו שיוכל לעשות . . .
- (רן) “אנליסט אוטומטי” . . .
- (עודד) בדיוק, אנליסט.
- וצריך לזכור שכשאני אומר “FP&A” - זה בדרך כלל פונקציה שנמצאת בחברות שהן קצת יותר גדולות . . .
(רן) מה הראשי תיבות, דרך אגב?
- (עודד) Financial Planning & Analytics.
- בדרך כלל זו פונקציה שנמצאת בחברות שהן יותר גדולות מהחברות-Target שלנו.
- וכאן אמרנו “הנה, כמו שהמערכת שלנו עד היום היא מערכת שעושה קצת אוטומציה ועוזרת לאנשים האלה”
- בעצם לקצר להם - לקצר תהליכים, לקצר את הזמן, לאפשר יותר FP&A בחברות שלא יהיו יכולות להרשות לעצמן
- אז אם אתה תביא להם איזשהו אנליסט AI, אז גם את חלק מעבודת האנליזה נוכל להציע...
(רן) כן, וככה אני מניח זה גם יכול להיות יותר אטרקטיבי לחברות הקטנות יותר, שאולי לפני זה לא היה להן כסף לשלם לבן אדם במשרה, ועכשיו...
(אורי) כי זה Practice טוב - חברה ציבורית שצריכה לתת תחזיות לבורסה חייבת את הפונקציה הזאת, כי ככה היא עושה את התחזיות שלה ואת כל ה-Planning שלה. חברת - לא יודע מה, סטארטאפ בשנתיים הראשונות שלה - לא צריכה ולא ...
- (עודד) ברור. אני יכול להגיד לכם שאצלנו בחברה, למשל, במשרד ה-CFO, רק לאחרונה יש לנו איש FP&A במשרה מלאה, זאת אומרת שבעצם...
(אורי) הסנדלר הלך יחף . . .
- (עודד) כן, כי חברות בגודל מסוים, לא באמת צריכות, זאת אומרת...
(רן) לא, אבל אתה מדבר על טכנולוגיה, אני דווקא חושב על, לא יודע - רשת בתי קפה עם עשרה סניפים, רשת חנויות נעליים . . . זאת אומרת, אתה יודע, לא יודע אם אלה הלקוחות שלכם, אבל...
- (עודד) דבר ראשון - אלה הלקוחות שלנו.
- זאת אומרת, בסופו של דבר, אחד הדברים הנחמדים שאתה מגלה, זה שרוב הלקוחות בעולם הם Low Tech, אוקיי?
- זה מפעלים ורשתות של חנויות . . .
(אורי) . . . . אבל זה לא אומר שאין להם יעדים פיננסיים.
- (עודד) לכולם יש . . . להיפך, יש להם רק יעדים פיננסיים . . .
(רן) זהו, בדיוק . . . לכולם יש - אבל לא כל אחד יכול להעסיק אנליסטים ואנשי FP&A.
- (עודד) כן, אבל העבודה הזאת מתבצעת תמיד.
- זאת אומרת, בין אם זה ה-CFO שיושב בישיבת הנהלה ואומר “אוקיי, בואו נסתכל על הביצועים שלנו ברבעון האחרון”, ובין אם יש איזשהו מישהו שעוזר לו, שעושה את זה כ-Part-Time Job, ובין אם יש בן אדם שהוא Dedicated.
(רן) כן, אז זה בעצם המוצר הראשון שהחלטתם לבנות?
- (עודד) אז אני אומר - זה היה החזון שלנו ל-AI, אבל ברור לנו היה שהדרך לשם . . .
- צריך לזכור - אנחנו מדברים בתחילת 2023: עוד למעט API ל-Completion ב-OpenAI, לא היה הרבה.
- ובעולם הזה בדיוק התחיל להתעורר ה-Ecosystem של ה-Open Source
- פרויקטים כמו LangChain ו-LlamaIndex וכאלה - רק התחילו ממש להיות Commit-ים ראשונים.
- מהר מאוד גיבשנו צוות, יחסית של חבר'ה מאוד מנוסים - כי זה מאוד אטרקטיבי לאנשים לבוא ולשמוע “הנה, אנחנו הולכים להיות פורצי-דרך ב... “
(רן) … “אתם יכולים לעבוד בזה - ואפילו נשלם לכם!”
- (עודד) נכון, נכון. והחבר'ה התחילו לבנות.
- והדבר הראשון שבעצם ניסינו לעשות, הוא היה משהו שהוא משהו מאוד מאוד פשוט - מעין איזשהו Chat מאוד בסיסי, שלקוח יכול לשאול כל מיני שאלות מאוד מאוד בסיסיות על הנתונים הפיננסיים שלו.
- לא יודע מה - “בוא, תשווה לי את הרווחים השנה הזאת לשנה שעברה”
- ואותו - קראנו לזה “Genius”, כן? למרות שהוא היה רחוק מאוד מלהיות גאון, אה...
- (רן) “Baby Genius” . . .
- (עודד) זה Baby Genius, פשוט אה...
- בעצם מה שעשינו, אני חושב ש... אתה יודע, היום בדיעבד, כשמדברים על עולמות של Agent-ים וכאלה, זה די ברור שזו הארכיטקטורה שהלכנו.
- פשוט עוד לא אמרו את השמות . . .
- (רן) עוד לא היה לזה שם
- (עודד) עוד לא היה לזה שם, אבל בעצם זה היה משהו שהוא בין Agent ל-RAG - זאת אומרת, הוא מהשאלה הבין איזה שאילתא הוא צריך, למעשה באמצעות הכלים שיש כחלק מהפלטפורמה שלנו, כדי לתשאל ולהביא את הדאטה הרלוונטי.
- ואחרי זה עושה את ה-Generation - לוקח את הדאטה ומנסה להגיד “תשמעו, הנה - אני רואה פה עלייה”.
(רן) אז פה אולי צריך להגיד שהיום התהליך הזה יחסית מובנה - אם מדברים על Agent או כל דבר כזה, אז יש קונספט שנקרא Tools, שאתה יכול לבוא ולהגיד לו “הנה יש לך את הכלים האלה”. נגיד, שאילתא ל-Database או Search ב-Web או כל דבר כזה. זאת אומרת, יש לו אוסף של כלים שבהם הוא יכול להשתמש, והוא יודע להפעיל אותם, וכמובן, אתה יכול לבנות את ה-Prompt ולעשות משהו כמו RAG, זאת אומרת, לאסוף את כל הנתונים, ובסוף לבקש ממנו “להקיא” אותם בצורה שהיא “Human-Readable”.
- (עודד) נכון, ואחד הדברים - היום, כשאנחנו מסתכלים אחורה - אנחנו רואים שאנחנו בעצם מבצעים את ההתקדמות שלנו באמת במקביל לדברים האלה.
- זאת אומרת, במקור, אנחנו התחלנו עם לבנות את ה-Tool-ים האלה, או את התשתית ל-Tool-ים הזאת, בעצמנו.
- אני לא זוכר אם אתם זוכרים, אבל הייתה, יצא איזשהו פרויקט - AutoML נדמה לי קראו לו, AutoGen.
- איזשהו פרויקט מאוד מאוד ראשוני של מין פלטפורמה כזאת, שיודעת להשתמש בכל מיני Tool-ים
- שאתה מבקש ומתחנן מה-API של OpenAI שיחזיר לך את התשובה ב-JSON, אבל אחרי זה אתה צריך להריץ עליה כל מיני פונקציות ולידציה (Validation), ולידטורים, כדי לנסות ו...
(רן) רק נסביר - כדי להיות מסוגלים להפעיל את הכלים האלה . . . מה זה כלים? זה בעצם פונקציות, פונקציות ב-Python. אתה צריך לקבל את המידע בצורה שהיא Structured, אוקיי? איזשהו JSON. ואם לא תקבל את זה ככה, יהיה מאוד קשה להפעיל. עכשיו, פעם, OpenAI ואחרים לא כל כך ידעו להחזיר JSON “יפה” . . .
- (עודד) למעשה, הם היו מחזירים טקסט - וכשהיית מבקש ב-JSON, אז הוא היה אומר לך, “הנה ה-JSON שלך - האם תרצה עוד משהו?”, ואיכשהו היית צריך להיפטר מה”האם תרצה עוד משהו?”, ולוודא שבאמת הוא...
- (עודד) נכון, אבל מהר מאוד אני חושב ש-OpenAI הבינו שמפתחים וקהילת המפתחים - זה מה שהם רוצים וכמהים אליו.
- ולאט לאט הם עשו בעצם אפשרות להגדיר סכמה של כאלה כלים, והם מבצעים את ה... בעצם, מוצאים את הפלט שמאפשר את הכלים.
(רן) אז היום קוראים לזה Tools או פאנקציות. Function-Calling.
- (עודד) נכון, וזה מובנה כבר, והוולדציות (Validation) נעשות בצד שלהם, וזה בהחלט מוריד הרבה מאוד כאבי ראש שהתמודדנו איתם בתחילת הדרך.
20:07 היה היה פעם, לפני יומיים
(רן) כן, אבל פה אנחנו נכנסים לאיזושהי דילמה הנדסית שקצת רמזת - אתה בא ואומר “אוקיי, אנחנו רוצים לפתח. אבל במקביל, העולם גם מתקדם, אז האם אנחנו נמשיך לפתח את שלנו, או שנאמץ את מה שבחוץ?”
- (עודד) כן, ממש.
(אורי) יש פה את הדילמה הזאת, שרן אומר “אני אפתח, וזה רודף אחריי מהר מאוד”. זה תמיד היה, אבל לא בקצבים האלה.
- (עודד) נכון, אני חושב שזה המהירות שבה החברה הזאת משחררת דברים - אנחנו יודעים שהיא משחררת מודלים כל הזמן.
- כשמודלים זה חתיכת אופרציה להרים - אז בטח את ה-Ecosystem שהם שמים מסביב למודלים, הם משחררים בצורה מאוד מאוד מהירה.
- ונראה לי שהם מאוד מאוד קשובים, בעיקר לקהל המפתחים - ודי מהר משחררים דברים שמגיעים מהקהילה.
- דרך אגב, אנחנו היום, מכל מיני סיבות של Compliance ודברים כאלה, אנחנו לא עובדים ישירות מול מול OpenAI.
- אתם בטח יודעים שכל המודלים שלהם מתארחים ב-Microsoft, ב-Azure, ולמעשה שם מקבלים בעצם את כל המעטפת של ה Compliance, ה-GDPR, כל ה-Certificate-ים, זאת אומרת.
- (עודד) אני לא יודע אם יש עוד מישהו שמארח מודלים . . .
(רן) לא, הם בעצמם. אבל מבחינך - שם אין לך את ה Compliance ואת ה...
- (עודד) . . . ואת ההתחייבות שהם לא מאמנים על הדאטה שלך ודברים כאלה,
- אז אני רוצה להגיד שגם Microsoft מתקדמת במהירות אדירה.
(רן) כן, אבל אני דווקא התייחסתי יותר לתחרות שיש לך עם הפרויקטים ב Open Source שהזכרת מקודם, כמו LangChain ו-LlamaIndex ו-Agent Frameworks שונים שלמעשה, פיתחו דברים די דומים לשלך. אולי עשו איזשהו משהו קצת יותר גנרי ואתה עשית משהו יותר ספציפי אליך, אבל קיימת הדילמה הזאת של “רגע, אני פיתחתי פה איזשהו כלי שבעצם הוא די גנרי - למה שאני לא אשתמש במשהו גנרי שנמצא שם בחוץ?”
אז איך חשבתם על זה?
- (עודד) אז תראה, לנו זה קצת התנגש דווקא בסוג האנשים שהבאנו.
- כי הגיעו לנו . . . כמו שאמרתי, הצלחנו, היה לנו באמת מזל לשים את היד על צוות של מפתחים מאוד מאוד חזקים.
- אבל החבר'ה האלה - הם אמרו לי, כשראיינתי אותם, הם אמרו “אנחנו אנשי Node, אנחנו כותבים ב-TypeScript, אנחנו לא מתעסקים בשטויות שלכם ב-Python” . . .
- דרך אגב, רוב ה- Backend אצלנו בחברה הוא רשום ב-Python, אז ככה ש...
- ואנחנו בהתחלה זרמנו - כי עוד פעם, לא היה כלום, אז מה זה משנה באיזה שפה אתה כותב?
- והחבר'ה האלו רצו קדימה, ואני יכול להגיד שהם לקחו הרבה מאוד השראה.
- זאת אומרת, הם כן . . . בהרבה מאוד נקודות עצרו ואמרו “אוקיי, בואו נסתכל מה יש בעולם ה-Open Source, בואו נראה מה יש בעולם”,
- מה מפתחים ב-LangChain, שבאמת באותה תקופה תפסה תנופה גדולה.
- אבל בסופו של דבר, הם הרבה פעמים במקום להתווכח, הם היו באים ואומרים “הנה, תראה - זה עובד אצלנו וזה כבר קיים, וזה כבר עושה את הדברים כמו שאנחנו רוצים, ולא כמו שחשב מי שחשב ב-LangChain לעשות”.
- כי עוד פעם, זה היה פרויקט שהוא היה די בחיתוליו.
- ואני חושב שבסופו של דבר, במשך הכמעט-שנתיים שעברו מאז, אז למעשה פיתחנו בעצם איזשהו Framework משלנו, שהוא באמת כתוב בעולמות של TypeScript.
- שבעצם מממש חלקים מאוד מאוד גדולים ממה שאתה רואה שמגיע בעולמות ה-Open Source, בטח בעולם של ה-Agent-ים ובעולם של...
- ואני, אם היית שואל אותי לפני חצי שנה, הייתי אומר לך שיכול להיות שעשינו טעות.
- היום אני כבר לא כל כך בטוח - כי אני כן רואה שגם הגענו לאיזושהי בשלות מאוד יפה.
- וגם אנחנו עשינו את זה בצורה שהיא מספיק מודולרית, שהיום אנחנו מתחילים לחשוב איך אנחנו עושים Off-loading ל-Service-ים שהם כן מבוססי פלטפורמות שונות, להתנהגויות מסוימות שאנחנו כן רוצים לאמץ.
- אז אני חושב שבסך הכל לא נפגענו יותר מדי.
24:47 הגאון וענייני עקביות
(רן) כן, אז בואו רגע נחזור לדבר על הגאון, על ה-Genius. אז חברה של מידע פיננסי, וחשוב שהנתונים יהיו נכונים ומדויקים - ואולי אחד הדברים שידועים על מנועי-שפה זה שהם לא כל כך טובים בחשבון . . . הם בכלל לא כל כך טובים במספרים - הם מאוד טובים בטקסטים, אבל בדברים שקשורים בחישובים נומריים הם, איך נאמר, “קצת פחות”.
היו שיפורים בשנים האחרונה, או בשנה האחרונה, אבל אתם בתקופה שלפני, אוקיי?
(אורי) . . . והם גם פחות . . . הם לא קונסיסטנטיים (Consistent), לא תמיד קונסיסטנטיים, זאת אומרת - שזה מאוד מאוד חשוב.
(רן) גם, כן. יפה, אז איך מתמודדים את גם זה? כלומר, לקוחות שלכם - לא מעניינת אותם סטטיסטיקה. הם רוצים תשובה, והם רוצים את אותה תשובה תמיד, והם רוצים שהתשובה תהיה נכונה. איך אתם מתמודדים עם זה?
- (עודד) אז מה שאנחנו בעצם עשינו, וזה בעצם הגיע לפרויקט-המשך שקראנו לו Insights - בעצם תובנות.
- הבנו שאנחנו, כמו שאמרתם, המודלים האלה הם... הם לא אמינים והם לא טובים במספרים, ואם אנחנו רוצים לעשות אנליזות מספריות שהן מורכבות - עוד פעם, מורכבות ברמה של Finance, לא רגרסיות ליניאריות מתוחכמות -אז עדיף שנעשה אותן בעצמנו.
- ולכן, מה שבעצם נוצר זה בעצם מעין משהו שמאוד מזכיר את אותו RAG מפורסם, רק ש... ואני מניח שאנשים מכירים מה זה RAG.
- שרק שבשלב ה-Retrieval, במקום ללכת ולחפש טקסט באיזשהו Vector Database, הוא שלב שבעצם מפעיל את אותם, מצד אחד, מנועי הבאת-נתונים שיש אצלנו בתוך הפלטפורמה גם.
- וגם הוספנו עוד שכבה של אנליזת-דאטה. זאת אומרת, אנחנו יודעים מראש איזה חישובים כדאי לעשות על הדאטה, כדי שהם יהיו מעניינים, או שהם יכולים להשתלב בתוך ה-Context של אותו Insight שאתה רוצה.
- אז אנחנו פשוט עושים אותם מראש, על הדאטה של ה-Context.
(רן) כן, סליחה, אני אפרוט את זה רגע לבדידים. אז אתה אומר . . . זה לא שאתה אומר ל-GPT “הנה, קח - זה הדאטה, תעשה מה שאתה מבין, זה מה שה-User שאל, תעשה מה שאתה מבין”. אתה לא עושה את זה, אלא אתה עושה את זה בצורה שהיא יותר Structured.
אז אחד זה אולי להבין את ה-User intent, כלומר - מה הוא שואל? על איזה דאטה? על איזו שנה הוא רוצה להסתכל? על איזה מחלקות הוא רוצה להסתכל, Whatever. זאת אומרת, להבין. ואז לשלוף בעצמך, אולי בשאילתת SQL, באמצעים “רגילים”, לא שום NLP. לשלוף את הדאטה, ללעוס אותו, אולי לעשות איזושהי אנליזה - ואת התוצאות האלה, בסוף אתה מגיש לו ורק אומר לו “עכשיו תכתוב את זה באנגלית יפה?”
- (עודד) בדיוק, ממש כך. כשבעצם אנחנו . . דרך אגב, זה התחיל כבר בפרויקט הראשון ב-Genius. זאת אומרת, את הנתונים עצמם.
- למעשה, המערכת של DataRails, כוללת למשל מערכת Dashboarding, שאתה יכול ממש לייצר כל מיני Widget-ים על הדאטה שלך.
- אז בעצם נתנו לו להפעיל את מערכת ה-Widget-ים האלה, ובסוף הנתונים שהיה רואה הלקוח היו מגיעים מתוך המערכת שלנו.
- ואז אנחנו יודעים שהם מדויקים והם בדיוק מה שצריך - והפרשנות הייתה מופיעה כפרשנות טקסטואלית.
- (עודד) אז אחת התובנות שהיו לנו מאותו מוצר ראשוני זה שבאמת הגענו למסקנה שהוא, שהוא “חלש מדי”, כי הוא באמת רק “דובר”.
- זאת אומרת, אני בעצם משתמש ב-AI כדי להבין את ה-Intent של ה-User, וכדי לספר לו מה אני רואה.
- ואז באמת החלטנו לעבור לשלב השני, מאותו שלב שקראנו לו Insights, שזה ממש שלב שנמצא עכשיו ב-Rollout ראשוני אצל לקוחות,
- שבעצם אומר “אני אבחר את הדאטה שאני רוצה להביא ללקוח, אבין את ה-Intent שלו”.
- לאו דווקא דרך אגב טקסטואלית, אלא אפילו ”UI-ית“- על איזה חודש, איזה ניתוח נגיד רבעוני או חודשי שהוא רוצה לעשות, או שהוא... עושה איזה מין Setup ל-Report כזה.
- (רן) . . . אפשר להשתמש ב-Drop-down Box, נכון? אפשר להשתמש בזה, לא חייבים רק טקסט . . .
- (עודד) בדיוק. אני אעשה את כל הניתוחים האפשריים.
- עכשיו, חלק גדול מהניתוחים האלה לא באמת מעניינים את ה-User, אבל אז אני אשתמש בעצם בכוחות של ה-LLM.
- אני אומר לו “אלה הניתוחים שעשיתי”.
- גם כל אחד מהם בנפרד - הוא מתואר טקסטואלית על ידי LLM שמתאר אותו
- ואז יש LLM אחד שמסתכל על כל הדברים האלה כ-Context - ומחליט לספר.
- מה הדברים המעניינים? מה הדברים הפחות מעניינים? ומה בכלל לא צריך לכלול באותו דוח שהוא מספק ללקוח.
(רן) כן, אבל גם בדבר כזה, אני יכול לחשוב איך דברים יכולים להשתבש. זאת אומרת, בהקשר של LLM, כן? זאת אומרת, דברים תמיד יכולים להשתמש, אבל בהקשר הזה. השאלה כאילו, איזה מיטיגציות (Mitigations) יש לכם? נגיד, פיתחתם איזשהם Guardrails מיוחדים? האם, לא יודע, מיטיגציה של UI? אולי קצת רמזת שזה גם להראות וגם להסביר - אז אוקיי, אם ההסבר לא מדויק, אז לפחות הוא רואה. מה המיטיגציה?
- (עודד) אז אני חושב שהמיטיגציה העיקרית, היא באמת בהנגשה של המידע.
- זאת אומרת, אנחנו הגענו למסקנה כבר די מהתחלה, שאת המידע שאנחנו מראים - הוא לא מגיע דרך ה-LLM.
- זאת אומרת, אם עשינו עכשיו איזשהו ניתוח . . . אז אנחנו עושים למשל ניתוח, מה שנקרא בעולם ה-Finance, זה Variance Analysis.
- עושים ניתוח שונות - מה גרם לשוני בין, נגיד, שתי תקופות, או בין . . . כשעושים Budget vs. Actual.
- ואז אנחנו יודעים מה האנליזה שעשינו, אנחנו מציגים אותה בצורה גרפית - את הנתונים עצמם שמגיעים מהמערכת - ואנחנו נותנים בסך הכל ל-LLM, לספר מה הוא רואה שמה, ולתת גם את “הפרשנות שלו” למה שהוא רואה.
- אבל בסופו של דבר, זה מוצג לצד הנתונים. זאת אומרת, תמיד הלקוח יכול להסתכל על הנתונים, המערכת שלנו מאפשרת לו לעשות Drill-down לתוך הנתונים - זאת אומרת, גם לוודא אותם.
- וזה בעצם נותן רמה שהיא מצד אחד נראית מאוד מאוד מרשימה - כי זה גם תמיד גרפים ליד טקסט.
- גם ממקד אותו, כי הטקסט בסוף ממקד אותך באמת בדברים החשובים שראית.
- אבל גם אם הוא לא מיקד אותך בדבר הכי חשוב - עדיין אתה רואה את כל הנתונים מול העיניים שלך.
- אתה יכול לתחקר אותם, אתה יכול להסתכל עליהם
- וזה כן נותן איזושהי רמה של ביטחון ל-User, שגם אם הפרשנות לא הייתה הפרשנות המדויקת, אז זה מספיק טוב.
(אורי) כל CFO יודע שיש P&L שמציגים בBoard - ויש תירוצים.
- (עודד) נכון.
(אורי) . . . התירוצים זה המתרץ . . .
- (עודד) נכון, נכון. דרך אגב, אחד הפיצ'רים הנחמדים שעשינו במערכת זה שאתה יכול לקחת גרף מהמערכת ו”לתקוע אותו בתוך מצגת PowerPoint”, ויש לך את שם Checkbox אם אתה רוצה להוסיף את התירוץ גם כן . . .
- והתירוץ זה בעצם הניתוח של...
(אורי) אבל יש לי בשבילך רעיון לעוד פיצ'ר, אבל לא . . . Off-record . . .
(רן) Off-record בהרבה כסף . . . היום במקרה מישהו אמר לי ”אבל אני בטוח שזה נכון, GPT אמר לי!” . . .הפוך, הפוך, . . .
- (עודד) זו נעשתה האמת החדשה, קצת מטריד.
(רן) כן.
(אורי) פעם זה היה, אתה יודע . . . הראשי-תיבות של LLM זה “לא להיות מדויק” . . .
- (עודד) אני, כשאני מסביר לאנשים לפעמים, אני אומר שאחד המאפיינים של המודלים הם שהם חייבים לתת תשובה.
- הם בסוף נותנים תשובה - והתשובה הנכונה זו אחת האופציות.
(רן) כן . . .
(אורי) או כמו שאמר מישהו - כשתלחץ על מפתח מספיק, הוא יוציא קוד. מאיפה הוא יוציא את הקוד הזה? זו שאלה אחרת . . .
(רן) כן, טוב, הגענו ממש לאזורים מעניינים.
32:59 השלב הבא ואיפה אנחנו היום
( רן) אז זהו, אנחנו ככה ממש לקראת הסוף. אז אמרת בעצם שבניתם מוצר אחד, והיום אתם בעצם בעיצומו של בניית של מוצר נוסף . .
- (עודד) למעשה, אנחנו כבר בעיצומו של בניית המוצר השלישי . . .
- ואני חושב שמה שמאפיין את ה... אני אגיד את ה-Trajectory של בניית המוצרים, זה שאנחנו כל הזמן בעצם מבינים, אני חושב שזו הכרה שלאט לאט אנחנו מבינים בעולם של ה-LLM, שמה שמשחק זה ה-Context.
- זה הדאטה, זה איזה דאטה אתה מגיש.
- אז אם אני רק אסיים, אם במוצר הראשון הנגשנו לו איזה אספקט מאוד מאוד צר של נגיד, בואו נראה את ה-Revenue over Time, ובמוצר השני, אנחנו הנגשנו ל-LLM כל מיני ניתוחים ואנליזות שעשינו באמצעות כל מיני כלי דאטה, Data Analytics, שאנחנו מיישמים על הדאטה.
- עכשיו אנחנו בעצם משלבים גם ומכניסים לו Context של מידע על החברה - על הפעילות שלה, על הבן אדם ששאל, ממש מכינים איזשהו מעיין “פרופיל חברה”.
- שדרך אגב, משתמשים ב-LLM גם כדי להכליל אותו, אבל הוא חלק מה-Context.
(רן) אתה יודע, אחד הכללים זה שלכל בעיה, יש פתרון אם תוסיף עוד LLM בדרך . . .
- (עודד) כן, אבל אנחנו בעצם יוצאים עם מוצר שאנחנו קוראים לו CFO Space
- שהמטרה שלו בעצם להיות איזשהו “GPT ל-CFO”, שבעצם היתרון בו מול GPT רגיל הוא שיש לו גישה גם לנתונים הפיננסיים שלו, שנמצאים בתוך DataRails, גם לפרופיל החברה שנבנה - עוד פעם, גם בצורה אוטומטית.
- גם למקומות וגם לכל מיני מקורות מידע פיננסיים, שבדרך כלל אין גישה אליהם, כי הם נמצאים מאחורי איזה חומת-תשלום או משהו כזה, שאנחנו יכולים להביא אלינו,
- ואז לקבל בעצם איזשהו . . . בעצם להגדיל את ה-Context שאתה מקבל.
(רן) נדבר אולי דקה-שתיים על הפן האנושי, ה-HR-י. זאת אומרת שחיפשת אנשים ש”זה בדמם”, שיידעו לעשות את זה. איפה אתם היום? עדיין זה Owned על ידי צוות אחד, או שזה התפשט לצוותים נוספים? כלומר, “מי נוגע ב-AI”, נגיד את זה ככה, אצלכם בחברה?
- (עודד) אז היום עדיין זה נמצא בידי אותו צוות.
- אנחנו כן בעצם מנסים או מתחילים לשלב צוותים אחרים בלהשתמש באותם פיצ'רים שפיתח הצוות.
- בסוף הצוות הזה פיתח תשתית AI - תשתית שמאפשרת לקרוא ל-AI ולתחזק Prompt-ים ותשתית של Agent-ים - ואנחנו כן מנסים לראות איפה אנחנו משתמשים בזה בעוד מקומות בחברה.
- אבל עדיין, היום רוב הפעילות מתבצעת על ידי הצוות הזה.
35:43 סיכום
(רן) אוקיי, אז אנחנו ככה לקראת הסוף. אולי עוד כמה מילים על החברה - כמה עובדים? כמה מפתחים? איפה יושבים?
- (עודד) אז החברה היא היום בערך 230 עובדים, כמחצית נמצאים בארץ.
- צוות הפיתוח מונה כ-50 איש.
- אנחנו יושבים ב-Midtown, בתל אביב.
- ואנחנו כמו הרבה חברות - מחפשים חבר'ה שגם רוצים לעשות דברים מעניינים.
- גם בתחום ה-AI - אבל גם יש לנו סט שלם של בעיות דאטה מאוד מאוד מורכבות, בעיות של Scale, שזה אני חושב חדשות טובות לחברות שהגיעו לשלב שהן מתמודדות גם עם Scale גדול.
- ואנחנו תמיד מחפשים אנשים טובים, בעיקר מרקעים של עולמות של Python, של Node . . .
(רן) כן, אוקיי - ואנשי דאטה ואנשים שאוהבים LLM-ים, ואני מניח שיש לכם גם דברים אחרים, UI ואחרים.
- (עודד) דברים מאוד מעניינים.
אוקיי, תודה רבה! היה מעניין, בהצלחה!
האזנה נעימה ותודה רבה לעופר פורר על התמלול!
אין תגובות:
הוסף רשומת תגובה