(רן) למעשה, דיברנו על NLP ממש-ממש מזמן, ומאז NLP השתנה בגדול, פחות או יותר הכל השתנה...
אז רק נעשה רפרנס קטן לפרק שעשינו עם פרופ’ יואב גולדברג, חוקר ידוע בתחום [296 NLP with Yoav Goldberg, אי שם באפריל 2016 - והיה ב-2021 בעניין דומה גם את 401 AutoML at outbrain with Assaf Klein] - שם ממש דיברנו על דברים מאוד ב-High-Level - והיום אנחנו נדבר על אתגרים מעניינים בתחום ה-NLP, בעיקר מהעבודה היומיומית של ענבל.
ולפני כן - שלום ענבל! ככה, בשתי מילים, עליך ועל החברה?
- (ענבל) אני עובדת ב-Gong כבר חמש שנים
- התחלתי בסוף 2017 - והייתה קפיצה ענקית ב-NLP במהלך 2018, אז ממש יש את ה”לפני” ואת ה”אחרי” . .
- (רן) בתקופה שבה Transformers הייתה סדרת טלויזיה ובובות . . . .
- (ענבל) בדיוק . . . ולפני ה-Transformers, קראו לזה גם Sesame Street Models - כי היו את ELMo ו-BERT . . .
- ומצאתי לפני כמה חודשים איזו טיוטא של מייל שכתבתי בזמנו למנהל שלי: “תקשיב, קראתי איזה מאמר ממש מעניין - מודל שקוראים לו ELMo, ונראה לי שזה ממש ממש יכול להקפיץ לנו את הביצועים בכל מיני דברים” וזה . . .
- (רן) הוא מיד בדק האם זה 1 באפריל היום . . . . [איפה זהר?]
- (ענבל) לא נשלח - לא נשלחה, הטיוטא הזו . . .
- אבל זה היה מצחיק לקרוא, כי זה מייל מאוד נאיבי - אבל זה באמת “הרעיד את עולם ה-NLP”
- באמת ה-Transformer-ים האלה “נותנים בראש”.
(רן) אז אולי באמת נגיע גם לדבר עליהם קצת אחרי זה - אבל אולי עוד קצת עליך ועל הרקע שלך?
- (ענבל) אני Optimus Prime . . . חד משמעית
(רן) חייב . . . .
- (ענבל) הייתי משחקת . . . אהבתי את הרובוטריקים כשהייתי ילדה.
- אז אני עושה Machine Learning כבר הרבה מאוד זמן -
- למדתי בטכניון פיסיקה והנדסת חשמל ואחר כך המשכתי למכון וייצמן - ועשיתי גם שם תואר שני במדעי המחשב, עם התמחות ב-Machine Learning . . . .
- אחר כך עשיתי כמעט-דוקטורט באוניברסיטת טוקיו - גרתי שם שנתיים-וחצי
- אם תרצו פודקאסט על יפן אז אפשר גם את זה.
- (רן) למדת יפנית? (אורי) יותר יפנית מיפנית . . . .
- (ענבל) בזמנו לא הצלחתי לתקשר מחשבות מורכבות ורגשות - אבל להזמין מקום במסעדות וליום-יום אז . . .
- (אורי) בצעקות? . . . .
- (ענבל) אפילו בטלפון - יצא לכם ללמוד שפה זרה? ולנסות לעשות שיחת טלפון? . . . . זה מפחיד.
- (רן) כן . . . . זה קשה.
- הצלחתי להזמין, נגיד, מלון בספרדית - אבל זה לא היה פשוט . . .
- (ענבל) כי לא רואים . . . לא קוראים שפתיים, לא רואים שפת-גוף - זה מדיום מאוד לא-סלחני.
- אז חזרתי מיפן - וממש קצת אחרי זה התחלתי לעבוד ב-Gong
- והאמת שלא ידעתי מה החברה עושה . . . הגעתי ביום הראשון שלי לעבודה ושאלתי את המנהל שלי
- אמרתי לו “תגיד, עומרי - מה אנחנו עושים?” . . . - והוא צחק והסביר לי
- (רן) “בשביל זה שכרנו אותך - כדי שתגידי לנו מה לעשות” . . . .
- (ענבל) בדיוק . . .
- אז מה אנחנו עושים, מה Gong עושה? אז אנחנו בנינו - בונים וממשיכים לבנות - מוצר שמנתח אינטראקציות עסקיות
- שיחות עסקיות עם לקוחות קיימים ולקוחות עתידיים
- זה פחות “סלקום שלום! אפשר לעניין אתכם בחבילה?” . . . - זה ממש תקשורת שיכולה להימשך חודשים, זה יכול לקחת שנה . . .
- שמדברים עם כל מיני גורמים בתוך החברה הזו - עושים Demo-ים, עושים Pilot-ים - באמת תהליכים מורכבים.
- ואנחנו מקליטים ואוספים את המידע הזה - משיחות מדוברות, מתוך מיילים, מתוך ערוצים אחרים של תקשורת כתובה
- שמים את זה במקום אחד - שזה כבר נותן ערך, מעצם זה שרואים מה קורה
- ועל גבי זה נותנים שכבות שונות של תובנות ושל המלצות ושל . . .
(רן) אני יכול להגיד נגיד שאצלנו בחברה, “Gong” זה פועל - כמו “לגגל” - אז “עברתי על ה-Gong שלהם” . . . אנשי מוצר ואנשי Customer Success עושים את זה חדשות-לבקרים, זה כלי מאוד מאוד שימושי אצלנו.
- (ענבל) איזה כיף.
לא נספיק לכסות את כל מה שקרה בשבע השנים האחרונות - אבל אולי נבחר כמה נקודות מעניינות, ובעיקר ככה מהיום-יום שלך. אז . . .
(אורי) מה נשמע? מה חדש? מה קורה? . . . .
- (ענבל) מה חדש? . . . .
(רן) אולי נתחיל ב”מה הם האתגרים, נכון להיום” - אילו אתגרים מעניינים יש לפצח?
- (ענבל) יש מלא אתגרים . . . . המודלים האלה - אנחנו לא תמיד מבינים מה בדיוק הם עושים ואיך אנחנו יכולים, ככה, “לעזור להם לעזור לנו” לפתור בעיות.
- אם יש לנו, למשל, מודל שמטרתו לזהות סימני אזהרה בעיסקה - כשאנשים לא מרוצים, כשאנשים מקפיאים את העסקה, כשהם אומרים “Don’t call us - we’ll call you”, ואנחנו רוצים להציף את זה . . .
- (ענבל) כן, אבל זה תלוי באיזו מדינה . . .
(אורי) נכון . . . .
- (ענבל) . . . . ומכאן המורכבות - יש לנו אולי לקוחות אמריקאים ויש לנו ישראלים, שמדברים *ממש* אחרת . . .
- היה לנו מקרה כזה, כשניסינו להעביר . . . . לבנות מודל כזה בגרמנית
- ולא הצלחנו להבין למה הוא לא עובד - למה לא הצלחנו . . . למה . . . איפה הייתה הבעיה?
- ועבדנו עם המתייגים שלנו - הגרמנים - והגענו להבנה שפשוט גרמנים עושים עסקים אחרת . . .
- וזה פשוט נראה אחרת - ואם מנסים “לתרגם” את המודל מאנגלית לגרמנית זה פשוט . . . זה לא עובד.
(אורי) אבל אולי אין Data “גרמני” . . . המתייגים הם גרמנים שיודעים . . .
(רן) אני אנסה להגיד את זה בשפה שלי, נראה אם אני מבין: את אומרת שאני, כשאני בונה מודל - יש לי איזה-שהן הנחות יסוד, יש לי Case, יש לי מה שנקרא Bias ב-Machine Learning, יש לי איזשהו Bias - אני מניח שככה עושים עסקים ולכן אני בונה מודל בצורה כזאת. אבל אם מראש הנחות היסוד האלו - כמו למשל שכשאני מציע הצעה והוא אומר לי כן או לא, אז אני מניח שזה הפרוטוקול - ובגרמנית זה פשוט לא עובד ככה . . . .
(אורי) רגע, אבל השאלה היא האם כשאתה אומר “אני בונה מודל” - או “אני מאמן מודל”, כי המאמנים הם גרמנים . . .
- (ענבל) אז יש לנו מיליוני מיילים - אני רוצה להגיד “ביום” אבל אולי זה בשבוע, אל תתפסו אותי בסדרי הגודל - בגרמנית
- ואם אנחנו נדגום באקראי את המיילים האלו, כדי לבנות Training Set בגרמנית, אז סביר שאנחנו לא נתפוס הרבה “נורות אדומות” כאלה.
- עכשיו, יש לנו מודל באנגלית - שעובד, ויש מודלים שהם מקודדים כמה שפות
- לא זוכרת אם אלה Google או Facebook ששחררו בשבוע שעבר מודל שתומך בעוד 40 שפות בפנים - אז יש לזה תמיכה במעל 40 שפות בתוך אותו המודל [Meta Open-Sources 200 Language Translation AI NLLB-200].
- אז אפשר לאמן אותו עם ה-Data-Set המתוייג באנגלית - ואז להשתמש בו כדי לעשות פרדיקציות (Predictions) בגרמנית
- ולנסות ככה “לדוג” מיילים שיש להם את התוכן הזה שאנחנו מחפשים.
- להעביר אותם דרך מתייג אנושי - ואז לאמן את המודל עם Data-Set בשתי השפות.
(אורי) אבל את אומרת שה-Domain של הבעיה “מתנהג אחרת” - כאילו, “עסקים” זה . . .
- (ענבל) אז לא ידענו את זה לפני . . . לא הבנו למה אנחנו לא מצליחים “להעלות בחכתינו” באופן הזה, שעבד בשפות אחרות, על בעיות אחרות . . . לא הצלחנו לתפוס את “הנורות האדומות” האלה בגרמנית.
- אבל רק כשממש הסתכלנו לעומק על ה-Data עם המתייגים ו”שברנו את הראש” אז הבנו את זה.
(רן) זאת אומרת שהתחלנו בבעיות NLP, אבל למעשה מדובר פה על איזשהו “פער תרבותי”, איזשהו הבדל תרבותי משמעותי - ש-NLP זו אחת ההתבטאויות שלו- ש-Natural Language זה אחד הביטויים שלו - אבל למעשה זהו הבדל תרבותי משמעותי.
דרך אגב, אני מניח שזה קיים גם בתרבויות אחרות שאולי פשוט לא הגעתם אליהן - אני מנחש שזה יכול לקרות גם בסין וביפן ובמקומות אחרים שקצת יותר רחוקים מאיתנו תרבותית. דווקא לא הייתי מנחש שגרמנית, דרך אגב . . . .
(אורי) אני דווקא חשבתי על גרמנית באספקט אחר, שגם לי יצא “לחפור” מעט . . .
(רן) . . . שהמילים כל כך ארוכות . . . זה מורכב מכמה מילים . . .
(אורי) זה לא שהן ארוכות - הן מחוברות ביחד, ואז יוצאת לך כמות אדירה של פרמוטציות (Permutations) של מילים ש . . .
(רן) כל כך הרבה Vowels וכל זה . . .
(אורי) כן
- (ענבל) כן, גרמנית זו שפה שלא ניסיתי אפילו ללמוד - אז יכול להיות שמה שאני אומר פה הוא לא מדויק.
- אבל בכניסה לתוך המודלים הגדולים האלה, לוקחים את המילים ומפרקים אותן ליחידות קצת יותר קטנות שנקראות Token-ים
- ואז, אם המודל הזה רואה מידע שהוא לא הכיר אף פעם, שהוא לא פגש אף פעם - אז הוא מחלק את זה למעיין תתי-מילים כאלה ו . . .
- (ענבל) אז בגרמנית, בגלל שיש את המבנה, את הקומפוזיציה הזו, אז אני מניחה שה-Tokenizer-ים יודעים לחלק איפה שצריך.
- זה, נגיד, אתגר מאוד משמעותי בעברית - הפרופסור רעות צרפתי מאוניברסיטת בר-אילן, לדעתי גם בתמיכת המדען הראשי אם אני לא טועה, מקדמת את האג’נדה של NLP בעברית
- וזה מתנהג ממש אחרת . . .
- (רן) “ירושלמא” . . . . מילים שיש להן משמעות של משפט שלם - קצת כמו בגרמנית . . . .
- (ענבל) כן - אז ממש צריך לתת לזה טיפול מיוחד.
- ואם אני כבר אני מעלה את הנושא הזה - אז המשאבים שיש ב-NLP באנגלית הם בסדרי-גודל יותר מאשר בשפות אחרות . . .
(רן) בסדר, אז ככה ממש . . . לא נוכל לעבור על כל אתגרי ה-NLP נכון להיום, אבל הנושא התרבותי / סמנטי הוא ללא ספק אחד מהם.
אילו עוד אתגרים יש, ככה ביום-יום, כאלה שאת נתקלת בהם?
- (ענבל) הנושא הזה של אינטרפרטביליות (Interpretability) של המודלים האלו, ולהבין למה הם עושים את השגיאות [בכוונה?]
- מה יעזור להם לבצע יותר טוב? מהו הידע הזה שהם “מחזיקים” בתוך המטריצות הגדולות האלה? . . .
(רן) כלומר, מודל ממוצע - כמה פרמטרים, פחות או יותר, יש לו? אנחנו מדברים על סדר-גודל של מיליארדים?
- (ענבל) מיליארדים - ולדעתי אפילו כבר מאות-מיליארדים [עם GPT-4 הדיבור הוא על 100 טריליון…]
(רן) בסדר . . . . ואם יש איזשהו Bug באחד הניורונים באמצע - מאוד קשה למצוא אותו . . .
- (ענבל) כנראה ש-Bug-ים . . . . Bug-ים אין שם - אלו מודלים שבעצם . . . .
- הקפיצה הגדולה הזאת, שקרתה ב-2018 - היא לא רק בזה שבנו מודלים מסוג מסויים, שהצליחו “לתת קפיצה” בביצועים
- זה גם זה שיש לנו מודלים שהם Pre-Trained - שזה קונספט שככה “השאלנו” מקהילת הראייה הממוחשבת
- שהקפיצה שם קרתה, לדעתי, ב-2012 או ב-2014 . . .
- בעצם, יש לנו את המודלים הגדולים האלה, המתוחכמים, שהם “קראו את כל Wikipedia” והם “קראו את כל האינטרנט”
- ספרים עיתונים - הם קראו הכל.
- אז הם יודעים די טוב שפה . . . יש להם “ידע כללי” לא רע בכלל -
- עד כדי זה שהוא “קפוא בזמן”, נכון לזמן האימון . . . - ובעצם, כשאנחנו רוצים לפתור איזושהי בעיה ב-Domain שלנו או בעיה יותר ממוקדת, אז אנחנו מתחילים ממקום ש”אנגלית יודעים כבר” . . .
- אז עכשיו צריך רק “ללמד אותם” את המשימה הספציפית הזאת שאנחנו רוצים לענות עליה.
(אורי) . . . . זה יכול להיות Signal?
- (ענבל) חד משמעית . . . .
(אורי) אוקי . . . אגב, זה מאוד קשור לתרבות, כן?
- (ענבל) זה באמת מאוד תלוי-תרבות ומאוד קשה לקודד את זה.
- אבל כשאנחנו - בני אדם - רוכשים שפה או בכלל הבנה על מה שקורה סביבנו, אז אנחנו לומדים שפה לצד ראייה, אנחנו לומדים שפה לצד שמע . . .
- וחיזוק חיובי או שלילי . . .
- אז יש כל מיני מה שנקרא מודאליות (Modality) - שאפשר להכניס מקורות מידע כאלה ואחרים כדי לחזק את ה-NLP או . . . .
(רן) אוקיי, זה אפשרי תיאורטית - אבל עושים את זה, בפרקטיקה? יש אילו-שהן אנוטציות (Annotation) מעל מילים? “הנה, הוא עשה תנועת-גוף כזאת” או “הנה - הוא עשה פרצוף כזה”?
(אורי) או סתם איזשהו שינוי של הסאונד או . . . .כאילו, “המוסיקה של הדיבור”.
- (ענבל) אצלנו לא עושים את זה, מתוך בחירה . . . מתוך הבנה שאי אפשר לעשות הכל.
- בגלל שהדבר הזה הוא כל כך תלוי-תרבות וכל כך רגיש - אז זה לא המקום להשקיע בו את האנרגיה שלנו, כרגע.
(רן) כן, ובוא נאמר: רוב - אני מניח - רוב ה-Data של המתאמנים הוא Data טקסטואלי, אוקיי? בעולם, לפחות ה-SoTA שאותם הזכרת - ככה שגם לא היו יכולים לעשות את זה.
- (ענבל) זה בכלל . . . . אם מדברים על אתגר - זה חתיכת אתגר.
- אני לא יודעת אם יצא לכם לראות תמלול של שיחות - אבל זה ג’אנק . . . .[1+ על זה…]
- אני מאוד מודעת לזה עכשיו, בחמש השנים שאני עובדת ב-Gong, אז אני משתדלת להשלים משפטים [אכן - ותודה!]
- אבל רובנו לא - אנחנו מגמגמים ואנחנו . . . [לתמלל את השיחה הזו זה לגמרי מטא . . . ]
- עזבו, גם אם היינו מדברים בשפה שהיא תחבירית ומתחילים ומסיימים משפטים, אז יש כל מיני ידע שהוא . . .
- נגיד, אני אדבר . . . אני אתייחס למשהו שדיברתי עליו לפני חמש דקות - אתם מבינים כי אתם זוכרים . . .
(רן) יש Context . . .
- (ענבל) יש Context, בדיוק.
- אז חוסר-תחביריות, חוסר-Context . . .
(אורי) אל תניחי שאנחנו זוכרים . . .
- (ענבל) אני מקווה . . .
(אורי) אנחנו כבר בגיל . . .
- (ענבל) אז זה באמת - זה אתגר ענקי.
(רן) אחד הדברים המעניינים שככה יצא לנו לדבר עליהם לפני השיחה זה שאתם לא עושים רק NLP, אתם בעצם עובדים גם עם בני אדם, אוקיי? ויש איזה-שהם יחסי גומלין בין המכונה לבין בני האדם.
- (ענבל) כן . . .
- (ענבל) אני אוהבת בני-אדם! אני בעד בני האדם . . . אני חושבת שבני אדם ומכונות יכולים לחיות בשלום ובאהבה יחד.
(אורי) תלוי מה הטמפרטורה של ה-Datacenter . . .
- (ענבל) זה נכון . . .
- אבל זה באמת אחד העקרונות - ה-עקרון - שמוביל אותנו ב-Gong בכל הנושא של NLP -
- זה שאנחנו לא פותרים בעיות-לשם-פתרון-בעיות
- אנחנו רוצים להביא ערך ללקוחות שלנו
- וזה הפוקוס שלנו - האנשים
- וזה מאוד מעניין לראות איך הם עושים אינטראקציה עם ה-AI - אני מרגישה שאנשים מפחדים ומאמינים ואוהבים AI במידה שווה, בערך.
(רן) והאנשים שאיתם אתם עובדים אלו למעשה בדרך כלל אנשי-מכירות, נכון? והם - יש להם מכונה שאולי יודעת לתמלל ואולי להוציא איזה-שהם Action Items מהשיחה וכו’ - ואת אומרת “הם מאמינים ומפחדים במידה שווה”?
- (ענבל) אני פחות יודעת האם הם, באופן אישי, מפחדים - אבל אני שומעת, משיחות עם חברים שלי . . .
- “עליית המכונות” זה צמד-מילים שאני שומעת פה ושם.
- הדוגמא שאתה מתייחס אליה - ה-Action Items - אז דמיינו שאתם אנשי מכירות ויצאתם עכשיו משיחה של שעה עם לקוחות
- הלך לכם טוב, מעולה - אתם באנרגיות גבוהות . . . .
- אין לכם כוח עכשיו לרשום סיכום של השיחה וממש לא בא לכם לכתוב רשימה של כל הדברים שאתם צריכים לעשות כ-Follow-up לשיחה הזאת.
- אחד ה-Feature-ים לדעתי-הכי-פופולאריים, לפחות באיזור הזה של המוצר, הוא ה-Feature הזה, שמזהה Action Items -
- אז ירדתם מהשיחה, אתם מקבלים לינק לשיחה - ומסכמים לכם את כל ה-Action Items שהבטחתם.
- אשת-Product דיברה עם איזשהו לקוח בשבוע שעבר והיא סיפרה לי -
- היא אמרה לי “את יודעת, זה די מדהים - ירדתי עכשיו משיחה עם מישהו שאמר לי שהוא מאוד אוהב את ה-Action Items, את ה-Feature הזה”
- והוא יודע שכשהוא אומר מילים מסויימות - כשהוא אומר “Let me follow up with you next week”, למשל - אז המודל תופס את זה, המכונה תופסת
- אז הוא משתדל לדבר ככה - הוא משתדל להגיד את המילים האלה, כדי לסמן . . .
(אורי) . . . כדי “לעזור למכונה” . . .
(רן) . . . “לעזור למכונה לעזור לו”, למעשה . . . . כן. זה קצת מזכיר לי את הסיפור על Google, שפעם כולנו היינו הולכים ומחפשים בשפה מאוד יפה, ככה “אבשלום-קורית”, בתיבת החיפוש - עד שהבנו שכל מה שצריך זה איזשהו “Bag of Words”, כמה מילים לזרוק פנימה ובסדר - Google כבר יבין . . . אני לא באמת צריך לסדר אותן בסדר הנכון, זה ממש לא משנה - זה לא צריך להראות כמו משפט וזה בטח שלא צריך להיראות כמו שאלה . . .
(רן) כן . . .
- (ענבל) כשאתם מדברים - אני לא יודעת אם יש לכם Siri או איזשהו Personal Assistant כזה, איזה Google Home או משהו - אתם אומרים “תודה” ו”בבקשה”?
(רן) כן . . . לגמרי . . . זה מוזר, אני לגמרי . . . אבל זה כאילו נותן תחושה שאולי זה “עמק המוזרות” שם, אבל זו סוג של תחושה. כאילו, אם אני כותב אז אני באמת לא צריך לכתוב - אבל כשמדברים, אז אולי יש שם מישהו, אולי יש שם איזו ישות כזאת . . .
- (ענבל) זה די מוזר . . . אני בעצמי לא משתמשת בכל ה-Personal Assistants האלה
- אני מעדיפה להקליד - אני מקלידה מאוד מהר עם האצבעות
- אבל . . .
(אורי) השאלה איך זה בנהיגה . . .
- (ענבל) אבל אין לי אוטו! אז זה . . . הגעתי עד כאן ברכבת . . .
(אורי) חוץ מזה שאין רכבת עכשיו . . . .
- (ענבל) אין רכבות עכשיו . . . בסדר.
(רן) אז זהו - יחסי-הגומלין האלה מאוד מעניינים. יצא לך לראות עוד סיטואציות? זאת אומרת - נגיד עם ה-Taggers או אנשים אחרים שהם ככה בתוך ה-Loop, שראית יחסי-גומלין מעניינים בין האדם לבין המכונה?
- (ענבל) בהחלט
- יש לנו עוד איזה Feature די גדול, שבעצם מאפשר למשתמשים שלנו לאמן את המודל שלהם בעצמם.
- אז למשל - חברה א’: מאוד מעניין אותה לשמוע ולזהות בשיחות את כל המקומות שבהם מדברים על המתחרים שלהם, ומתייחסים למהירות השירות שלהם.
- זה משהו שהוא מאוד ספציפי לחברה הזאת
- ומי מכיר את המידע של הלקוחות שלנו יותר טוב מהלקוחות עצמם? . . .
- אנחנו הגענו לשלב כזה - ב-NLP בכלל אבל גם ב-Machine Learning . . . ב-NLP בפרט וב-Machine Learning בכלל - שהמודלים טובים . . .
- (ענבל) כן . . . המודלים טובים - מה שמשנה עכשיו זו איכות ה-Data שמשתמשים בו כדי לאמן אותם.
- אז זה בעצם Win-Win - הלקוחות מקבלים את היכולת לזהות את מה שמעניין אותם
- וגם הם מקבלים בעצם מודל יותר טוב - כי ה-Data שהם סיפקו הוא יותר טוב.
(אורי) זאת לא אמירה שהיא, וואלה - תמיד נכונה ב-Machine Learning? במיוחד היום, כש . . . . בכלל, הנדסת-המודלים די “בוגרת”, ורק עבודה על ה-Data כאילו - משחקים ב-Feature-ים, טיובים של ה-Feature-ים וכאלה . . . .
- (ענבל) אז אנחנו כבר לא עושים Feature-ים . . .
- זאת אומרת, ה . . . אחד הדברים הלא-כל-כך-טריויאליים במודלי-שפה הענקיים האלה זה שלא עשינו “Feature Engineering”
- והאמירה הזאת - ש”ה-Data זה מה שחשוב” - היא תמיד הייתה נכונה
- אבל לפני 2018 - “הקפיצה הגדולה” הזאת - המודלים לא היו כל כך טובים, כאילו . . . .
- רגרסיה - Logistic Regression, אני תמיד מתבלבלת בין זה לבין Linear Regression, וזה לא אותו הדבר בכלל - יש לה . . .
- זה מודל מאוד פשוט עם ביצועים לא רעים בכלל, אבל . . .
(אורי) אבל הוא בסיסי . . .
- (ענבל) אבל הוא מאוד בסיסי - ובימים שבהם זה היה כלי העבודה, אז היה הרבה מאוד מה לשפר במודל, לפני שמגיעים ל-Data.
(אורי) לתיוג . . .
- (ענבל) כן
(אורי) זאת אומרת שעכשיו נשאר לנו להתעסק בתיוג ובאיכות התיוג . . . “לנקות רעשים”.
- (ענבל) כן - ובלהגדיר את הבעיה באופן הנכון.
(רן) כן, אז את אומרת שאם בעבר עבודת ה-Machine Learning התרכזה בבנייה של מודל “נכון”, היום המודלים הם “נכונים” ואין מה להתעסק בזה, בגדול אין מה להתעסק בזה.
מקום שבו כן אפשר להשיג שיפורים משמעותיים זה בטיוב של ה-Data - היזון שלו, תיוג שלו, מתן סמנטיקה וכו’ - אבל לא במודל.
(אורי) וגם Context של ה-Domain - זה בסוף Problem Domain וצריך להכיר אותו, והמודל צריך להכיר אותו.
- (ענבל) נכון.
- אנחנו עדיין לא מספיק טובים במה שנקרא Domain Adaptation - יש שם המון שיטות
- עובדים לצידי אנשים שכתבו על זה את עבודות הדוקטורט שלהם
- ועדיין זה לא בדיוק שם - זאת אומרת, להעביר את זה מ-Domain, נגיד, של “רפואה” ל”עסקים” או משפה אחת לשנייה . . .
- (ענבל) “אורטופדים” ו”מוסכניקים” זה דומה . . .
(רן) אבל “אורטופדיה” ו”רפואת נשים” זה שונה . . .
- (ענבל) נכון.
- (ענבל) שאלה מצויינת . . . [יש שקף?]
- (ענבל) אתה עושה את זה כבר זמן-מה . . . מרגישים.
(רן) בשביל זה אני פה . . .
- (ענבל) Language Model זה בעצם כלי-העבודה העיקרי שיש לנו ב-NLP
- בעצם Language Model ו-Large Language Model
- ובעצם זה משהו מאוד פשוט - איך אימנו את הרשתות המפלצתיות האלה? נתנו להן משימה מאוד פשוטה
- נתנו להן איזשהו טקסט והחסירו מילה - וביקשו מהן “לחזות” את המילה החסרה . . .
(רן) כמו במבחן באנגלית . . .
- (ענבל) בדיוק . . . זהו - והם עושים בזה עבודה לא רעה בכלל.
- אולי שמעתם על GPT-3 וכל המודלים ה . . . כבר הפסקתי לעקוב אחרי כל הגרסאות וזו קצת תחרות של “של מי יותר גדול”
- אז כל “ה-GPT-3 הזה”, שיודע לייצר טקסטים שנדמה שנכתבו על ידי בני אדם - כל מה שהם עושים זה חוזים את המילה הבאה.
- נותנים להם איזושהי התחלה של משפט או שנותנים להם איזושהי הוראה - והם מוצאים מילה אחרי מילה אחרי מילה . . .
- וניהיה טקסט.
- וזה לא מובן מאליו שבאמצעות משימת אימון כל כך פשוטה, אנחנו בעצם יכולים לקודד את כל הידע הזה של השפה והידע הכללי -
- ולהיות מסוגלים לפתור בעיות כמו Questions answering או . . . .
- (ענבל) זה די מטריד, איך שהם משלימים דברים . . .
(אורי) ה-Autocomplete
- (ענבל) כן - אבל אם כבר העלת את זה, אז בכלל - אתגר מאוד משמעותי: המודלים האלה “קראו” את כל האינטרנט
- והם גזענים ומיזוגנים והם חושבים . . . כל ההטיות שאנחנו חוטאים בהן . . . .
- (ענבל) . . . אבל הם באמת ראו - בכל מיני ספרים: “נשים הן אחיות” ו”גברים הם רופאים”
- וכמה נשים אסטרונאוטיות הם ראו וכמה נשיאות וכמה . . .
(אורי) אז יש להם את ה-Bias שיש לכולנו . . . .
(רן) כן . . . אגב, אורי - זה נושא מרתק, של אתיקה ב-AI ו-Fairness וכל זה - זה נושא סופר-מעניין ואנחנו צריכים למצוא מישהו לדבר איתו עליו.
את בעצם אומרת שמודל-שפה - המטרה שלו זה לג’נרט (To Generate) משפטים, אבל הוא אומן בצורה מאוד פשוטה: “הנה משפט, הנה מילה חסרה - נחש מה המילה הבאה” - ואם ניחשת אז קיבלת “חיזוק” ואם לא אז קיבלת “חילוש”, או איך שאומרים את זה . . .
וזה עובד - הטכניקה הפשוטה הזאת עובדת בצורה מפתיעה: כל מי שראה איזשהו Output של GPT-3, חמשירים ש”הוא” כתב או סיפורי-מתח ש”הוא” כתב - נראה כאילו יש שם משורר מאחורי זה . . .
(רן) כן . . . . זאת אומרת - זה נראה כמו משהו נורא-נורא-טכני - “לחזות את המילה הבאה”, אוקיי . . . אבל נראה כאילו יש שם “נשמה” בפנים . . .
(אורי) נשמה גזענית ומיזוגנית . . .
- (ענבל) אבל אנחנו גם רוצים לייחס להם . . . אנחנו רוצים לייחס להם את “הקסם הזה”, אנחנו מאמינים . . .
- כמו שאמרתי קודם - אנחנו מפחדים ומאמינים ב-AI במידה שווה.
(רן) כן, ואת אומרת שחלק מזה זה . . .
(אורי) אגב - אנחנו נכנסים ל . . . “אנשים שמאמינים ויראים” באותו . . . מה קורה? רוצה לדבר על זה?
- (ענבל) קראת לי את המחשבות
- [גם לי - הנה]
- (ענבל) הדיונים האלה, שיוצא לי להשתתף בהם לא מעט - זה לא מפתיע אתכם לשמוע את זה - יש בהם הרבה סממנים של דת . . .
- מה זה “אינטליגנציה”? מה זה . . .
(רן) קצת מזכיר את הסיפור על הבחור הזה מ-Google שהיה משוכנע שמדובר ביישות אנושית לפניו . . . כן, אנחנו נכניס רפרנס לזה בשיחה, ב-Show-notes [אוקיי, זה שאני מוסיף הערות זה בסדר ורגיל - זה שהן עונות לי בחזרה זה מפתיע וקצת מוזר . . . ]
אז שוב - תודה רבה, ענבל! היה מרתק, נושא שברור שיש עוד הרבה מה לדבר עליו, אבל אנחנו נעצור פה. להתראות.
האזנה נעימה ותודה רבה לעופר פורר על התמלול!