יום שלישי, 30 במאי 2023

459 Bumpers 81



פרק מספר 459 של רברס עם פלטפורמה - באמפרס 81, הוקלט ב-16 במאי 2023.
באמפרס הוא פודקאסט חודשי  - או לכאורה-חודשי, קצת זייפנו בזמן האחרון [כולל 1 באפריל! שנתיים רצוף!] - שבו רן, אלון ודותן מקליטים קצרצרים על נושאים מעניינים מהחודש האחרון - במקרה הזה כנראה חצי-השנה האחרונה . . . - שתפסו את עינינו: ספריות חדשות, בלוג-פוסט מעניינים, טכנולוגיות חדשות שצצו וכו’.
כיוון שבאמת לא יצא לנו להקליט במשך כמה חודשים, יכול להיות שתראו פה דברים שהם אולי לא הכי חדשים - לפחות לא כולם - אבל עדיין הם מעניינים לטעמנו.
אז זהו, יאללה - בואו נרוץ על זה.

0:58 רן ומלחמתו ב-AI - עצומות
  •  (רן) אז דבר ראשון, הייתי רוצה להרים איזה שהוא Shoutout לחברי ערן קרקובסקי ולחבריו שפתחו בפודקאסט חדש - אז פודקאסט חדש בשכונה - ולפודקאסט קוראים מחלידים ביחד.
    •  . . .  וכמו שניחשת, זהו פודקאסט על Rust - בעצם, ערן וחבריו לומדים Rust ומדברים על זה תוך כדי.
      • תוך כדי זה שהם לומדים ומחליפים חוויות - ועושים את זה באונליין 
      • אז יש את הלינק לפודקאסט עצמו - ואולי ביום מן הימים גם יביאו מומחים מהפודקאסט הזה, בלי לנקוב בשמות, ויזמינו אותם גם להתארח אצלם . . . .
    • אז תודה ערן וישר כוח ותמשיכו ככה.
  • הנושא הבא והממש ממש גדול שרציתי לדבר עליו - אי אפשר להתחמק מ . . . נקרא לזה “מהפכת ה-AI” או “באזז ה-AI”  או איך שלא תקראו לסיפור הזה, אבל יש כל כך הרבה תחומים שבהם AI, או ספציפית Generative AI, 
נכנסים לחיים שלנו.
  • אז אחד הדברים הבולטים שבעצם קרו בתחום הזה זה למעשה איזשהו Open Letter, איזשהו מכתב פתוח, שמי שיזם אותו - בעצם יזמו אותו שניים: 
    • שני אנשי האקדמיה מאוד מאוד מוכרים בתחום, שבעצם באים ואומרים “חברים, אנחנו עוד לא בסינגולריות, אוקיי? והמודל - GPT-4 או לא חשוב איזה מודל Generative-י שהוא כרגע Top of the Line שקיים היום - הוא לא יחליף אותנו. את זה אנחנו יודעים, אוקיי -  אף אחד לא משלה את עצמו שזה יקרה עכשיו”.
      • אבל - אנחנו כן רואים איזשהו צעד, איזשהו וקטור, לכך שבאיזשהו שלב אנחנו עלולים לאבד שליטה
      • או לפחות אנחנו, כאנושות, יכולים לאבד את המלחמה הזאת -  אולי לבן-אנוש אחר שיש לו AI, זאת אומרת  לא בהכרח ל-AI אבל ייתכן  שלבן- אנוש אחר שכן לוקח ומפעיל לטובתו כוחות AI - ואנחנו נצטער על זה . . . 
      • ואם לא נעשה עכשיו רגולציה ולא נטפל עכשיו ב- AI Safety, יכול להיות שאחר כך יהיה מאוחר מדי
    • ולמעשה, המכתב הזה קורא לעצירה של משהו כמו חצי-שנה בפיתוח של מודלים חדשים
      • זאת אומרת, הוא לא אומר לבוא ולעצור ולא להשתמש במודלים שכבר פותחו, דוגמת GPT-4.
      • הוא כן קורא לעצירה של חצי-שנה לטובת מחקר והשקעה משמעותית של Safety בתחום הזה של AI
    • עכשיו, כמו שאמרתי מי שיזם את המכתב הזה ובכלל את כל התנועה הזאת אלו אנשים שהם לא קוטלי-קנים
    • (דותן) מה שיכול להיות מגניב זה עם העזיבה שלו זה בכלל היה סיפור של ה-AI שם, שאיים עליו שאם הוא לא מתפטר אז הוא מפרסם עליו דברים . . . .
    • (רן) כן, אני בטוח . . . .
    • (דותן) . . . . זה מוכיח את טענה שלו בצורה הרבה יותר חזקה מכל הנאומים . . . .
    • (רן) כן, כן . . .  אז כאילו, אני חייב להגיד שבהתחלה התייחסתי די בביטול לכל הטענות כאלה של “ה-AI יחליף אותנו ואנחנו בסופו של דבר נהיה עבדים לארנולד-שוורצנגרים וכאלה - אני די התייחסתי בביטול
      • אבל אחר כך אחרי שקצת החלטתי להתעמק, הבנתי שאוקיי - נכון, אנחנו לא לא שם מחר בבוקר
      • אבל זה לגמרי משהו שיכול להיות ריאלי, במידה כזו אחרת - אולי בדור של הילדים שלנו, אולי אפילו בדורינו.
      • אבל זה משהו ששווה לשים אליו לב
    • עכשיו, אולי התרחיש הזה - של זומבים, כן? . . . שאנחנו הופכים להיות עבדים של ה-AI - אולי זה נראה באמת מופרך
      • אבל תרחיש שבו מדינה מסוימת רותמת לטובתה כוחות שהיום אין לה, או גוף תעשייתי מסוים שרותם לטובתו כוחות שהיום אין לו, ובכך פוגע באנושות, זאת אומרת פוגע בחלק מאוד משמעותי באנושות - זה משהו שלדעתי הוא מאוד ריאלי ויכול לקרות גם בימינו
      • ואם לא נשים לזה איזה שהם חסמים, לא נייצר איזושהי רגולציה ולא נעבוד על Safety, ברמה המדעית - אני חושב שאנחנו . . . 
      • כן, יש ממה לחשוש
    • (אלון) אני אני חייב להגיד שאני - הקטע שהפריע לי זה ש-Elon Musk היה שם רשום . . . ובלי קשר, הוא מפתח שם AI ב-Tesla ואת כל החברות המוזרות שלו שמפתחות את זה
      • ובזמן הפרסום, היה לי רשום שהוא קנה סכום פסיכי של איזה עשרת אלפים
      • (רן) 30 אלף . . . .
      • (אלון) 30,000 מעבדים מעבדים, GPUs - שזה כאילו סכום בלתי נתפס בעליל . . . 
      • אז לא יודע . . .  אני אני לא בטוח מה שם אינטרסים ומה שם אמיתי - זה הכל מהכל ביחד
      • ובסוף גם תעשה רגולציה - אז מה? תבוא מדינה כמו סין וממש לא מעניין אותה רגולציה.
    • (רן) כן . . . אז א’ - אני מסכים איתך -  זאת אומרת, ברור - או שזה לא ברור אבל יש לשער - שלפחות חלק מהחותמים חתמו על המכתב הזה מתוך פוזיציה, מתוך ניסיון להשהות את המתחרים ולהרוויח זמן
      • ויכול להיות שזה בדיוק המקרה של Elon Musk ואני לא יודע . . .  אני בטח שלא תמים ואני לא אומר שכולם שם אידיאליסטים . . .
    • יחד עם זאת, זה עדיין עוזר בלהדגיש את הסכנה, או להדגיש את הצורך בלפתח Safety.
    • עכשיו, לגבי העניין של סין או כל ישות אחרת שאולי לא עוצרת לפי הרגולציה - 
      • אז א’ - אתה צודק.
      • מצד שני, בואו נסתכל רגע על אזור אחר, שבו כן יש רגולציה דומה וגם יש סכנה דומה - מחקר של הגנום או פיתוח או שיבוט או דברים כאלה
      • עכשיו, זה לא אומר כמובן שהם גם יעשו את זה בעתיד עם AI . . . אבל זה רק אומר, לראייה, לפחות בתחום הזה של שיבוט ומחקר הגנום - כן יש איזושהי רגולציה כלל-עולמית, גם אם זה לא בהסכמה, אבל יש איזשהו אולי, לא יודע, “מאזן אימה” או איזשהו . . . 
      • נוצרת פה איזושהי משוואה - שכרגע לא קיימת בתחום של ה-AI.
    • אז אני לגמרי מסכים איתך שכן - יש את סכנה, זאת אומרת לצורך העניין, אם רק המערב “יעצור את עצמו” והמזרח לא, אז ברור שזה שם אותו בחיסרון [הכנה לפרק רקע עם בר-זיק על שר הטבעות?]
    •  מצד שני, אני חושב שיש מקום להאמין . . .  אני אופטימי, יש מקום להאמין שגם הסינים לצורך העניין, או כל ישות אחרת, גם יכולה לראות את הסכנה וגם הם יפעלו בצורה שהיא שקולה.
    • כן . . . Anyway,  זה נושא עמוק, כאילו . . .  אני לא חושב שאנחנו . . . א’ -  אין לנו את היכולת להעמיק בו ו-ב’ - אין לנו מספיק זמן . . . 
      • אבל רציתי להעלות את זה ואני חושב שזה סופר-סופר מעניין.
    • (אלון) אני ביקשתי מ-ChatGPT שיסכם לי את הסיפור הזה, ואלה הנקודות שקיבלתי . . . 
    • (רן) . . . הוא מפוזיציה, כמובן . . . כן.
    • אז זהו, בואו נחזור למוטו של הקצרצרים ונמשיך הלאה - יש פודקאסט מעניין, יש מכתב מעניין, יש פרסום מעניין בניו יורק טיימס יש לא מעט.
    • בעניין דומה, פחות או יותר . . .
    • (אלון) אני גם אגיד שאני מדבר מפוזיציה!  כי לי יש את ה-ChatGPT Alpha,  אז כאילו - אני רוצה לי שימשיכו, כדי להקדים אתכם, שאני אוכל “לתפוס עליכם תחת” . . .  כאילו, אם אם יעצרו ואני איהיה כמו כולם, אז אז מה יש לי בחיים? . . . 
      • זהו, רק רציתי לציין . . . 
    • (רן) צריך לעשות לך רגולציה, אלון . . . 
    • [ותמיד יש את זה - The Artificial Intelligence Revolution: Part 1 ו-The Artificial Intelligence Revolution: Part 2]

11:41 - רן ממשיך את מלחמתו ב-AI - הדלפות
  • (רן) אז כן - בעניין דומה, עוד איזשהו משהו שנראה כמו מסמך שדלף מגוגל - ואנחנו יודעים שלפעמים הדלפה היא לא באמת הדלפה, לפעמים הדלפה זה משהו מכוון, אבל לא משנה . . . . בכל אופן, זה פורסם כאיזשהו מסמך שדלף מגוגל, וככה - “עורר הרבה עניין”.
    • הכותרת שלו זה We have no Moat”,  זאת אומרת “אין לנו מנוף [חפיר] כ-Google - וגם לא ל-OpenAI”.
    • ולמעשה, מה שנאמר שם זה שנכון, OpenAI . . .
      • (אלון) אין לנו חפיר - לא “מנוף” . . . 
    • (רן) חפיר, סליחה. כן - “אין לנו חפיר”.
      • נכון מאוד, זה חפיר - אבל בעברית, כאילו, בדרך כלל הביטוי זה האם יש לנו Leverage . . . האם יש מנוף או אין לנו מנוף . . . Anyway.
    • הם באים ואומרים שהטכנולוגיה הזאת של Generative AI היא לא Defensible, 
      • במובן הזה שהיום, כל זב-חוטם שיש לו קצת GPU ויש לו Data - ויש, אוקיי? 
        • לא צריך 30,000 GPUs כמו של Musk - יש כמעט לכל לכל חוקר שרוצה להגיע לשם
        • יכול לפתח מודלים שהם כבר די קרובים לרמה של GPT-3.5,  לדעתי פרסמו, וגם יותר.
    • זאת אומרת, אין פה איזשהו יתרון משמעותי לעצם [היותה] גוגל או לעצם היותה OpenAI
      • לא ב-Data שיש להם
      • לא ב-Compute שיש להם
      • וגם לא הרבה בידע שיש להם, אוקיי?
        • זה שיש להם מאות דוקטורים או אלפי חוקרים - זה לא נותן להם את היתרון המשמעותי כמו שהם היו חשבים שזה יתן להם.
        • אני לא אומר שאפס - כמובן שיש, אבל זה לא נותן להם יתרון מספיק משמעותי.
    • ולראייה - מודלים בקוד פתוח מצליחים להגיע לביצועים די טובים - אולי, ככה, בעקבות דליפה אחרת שקראתה מתוך Facebook . . .
    • אז כן,  אז זה גם מעניין - וזה גם, דרך אגב, מתכתב עם הנושא הקודם של הרגולציה . . .  זאת אומרת, גם אם החברות עצמן ישימו על עצמן איזשהו מחסום, עכשיו כל אחד, במעבדה הפרטית שלו, בלי הרבה כסף, יכול “להסיר את המחסום הזה” . . . 
    • (אלון) כן, אני חושב שכבר “הסוסים יצאו”. . .  כאילו, נראה לי שאם היו רצים רגולציה, צריך היה לעשות את זה קודם . . . 
      • אבל בסדר, בואו נראה מה מנסים לעשות . . .
    • (רן) אז ללא ספק “הסוסים יצאו”, השאלה כמה מהסוסים יצאו - וכמה עוד יצאו . . .
      • וחוץ מזה, זאת אומרת, אולי קצת כמו ההתחממות הגלובלית - קודם כל ראינו את הנזק, ואחר כך חיפשנו את התרופה
        • אנחנו עדיין מחפשים, כן? . . . עוד לא קיבלנו אותה, רק לפרוטוקול . . .
      • אבל אני אומר, כאילו, אוקיי - יכול שהנזק, שהסוסים שכבר יצאו מהארווה, הם כבר יעשו את הנזק שלהם
      • אבל אולי לפחות נדאג לסוסים העתידיים, שעוד לא יצאו . . .
    • טוב, זהו - אני אפסיק לחפור על העניין הזה . . . נושא כבד, נעבור הלאה.

15:03 רן עם קצרצרים אחרים
  • חברה ישראלית מעניינת, מוצר ישראלי וחברה ישראלית מעניינת שיצא לי, ככה, לשחק איתה זה חברה שנקראת Codium.ai -   אז תודה איתמר!
    • הייתי רוצה קצת לספר על החברה ומה היא עושה - אז אני מניח שהרבה מכירים את Copilot של GitHub וגם מוצרים מתחרים כמו Tabnine, ויש עכשיו לא מעט מוצרים נוספים מתחרים
      • שהם בעצם מג'נרטים (Generate) קוד . . .
    • מה שהם לא עשו - לפחות לא עד עכשיו - זה לג'נרט טסטים (Generate Tests)
      • וזה נשמע מתבקש .  . . אוקיי, כתבתם פונקציה - עכשיו אתם רוצים לכתוב לה טסטים
    • אז ברור שהרבה מהטסטים אתם תרצו גם לכתוב ידנית, ולבדוק כל מיני מקרי-קצה וכל מיני בדיקות פונקציונליות ובדיקות מכל מיני סוגים בעצמכם
      • אבל בואו נודה על האמת - יש גם לא מעט טסטים שהם ככה די “טייס אוטומטי”, שאפשר די בקלות לבוא ולכתוב בצורה יחסית אוטומטית
    • וזה בדיוק מה שעושה Codium.ai - זה Plug-In שפשוט מייצר טסטים באופן אוטומטי לקוד שלכם
    • אבל Anyway, אז Codium זה משהו שיצא לי להשתמש בו - וזה נראה מאוד נחמד, ויצא לי להשתמש בטסטים שהוא כתב
      • אני כן הלכתי ואחר כך טיפלתי בהם ידנית, זאת אומרת - זה לא שאני אומר לו “יאללה - תריץ טסטים!” וזהו, אלא הוא ג’ינרט טסטים (Generated Tests) ואחר כך הלכתי וטיפלתי בהם ידנית.
      • אבל זה כן חוסך זמן וזה גם, תכל’ס, נותן רעיונות - זאת אומרת, מה לבדוק: כל מיני מקרי-קצה שאולי התעצלתי ולא הלכתי לבדוק או שאולי סתם ככה לא חשבתי עליהם
      • הוא ונותן לי עכשיו רעיונות איך לבדוק אותם.
    • (אלון) מעניין - למרות שאני חייב להגיד ש . . .  לא יודע, Copilot כותב יופי של טסטים . . . 
      • אולי פה זה קצת יותר מובנה - אבל אם אתה הולך ל-Copilot ואתה נותן… כותב את ה-Test ריק, הוא יתחיל . . . .
      • כאילו,  אם תעשה “Generate Tests” ויהיה לך כזה ריק - והוא ימלא אותו לגמרי, הוא עושה דווקא דברים מאוד מעניינים הרבה פעמים.
      • ולפעמים כל מה שצריך זה לעשות הרבה Tab-ים וזהו . . . ובאמת כל הטסטים שם, קרה לי . . . 
      • (רן) אני מסכים . . . 
      • (אלון) . . .  אני אעיף על זה מבט, אבל  לא נראה לי שיש פה איזה “Edge”, חוץ מ-UI, כי . . . 
    • (רן) אני מסכים . . .  אז Copilot - אני חושב שיכול להיות פה Edge, וזה במבניות
      • אבל אני מסכים איתך ש-Copilot, אם אתה תיקח קובץ Test ריק ותיתן לו כמה Hint-ים, או אולי אפילו בלי, אז הוא ייצר לך טסטים
      • המבניות פה היא נחמדה - אתה יכול לבוא ולהגיד לו באיזה סטייל אתה רוצה שהטסטים יג’ונרטו (Generated), אתה יכול לקבוע אם אתה רוצה שזה יהיה מבוסס על . . . . לייצר Mock-ים או לא . . . 
      • זאת אומרת, אתה כן יכול לתת לו איזשהן הנחיות שהן קצת יותר מובנות
    • יחד עם זאת, אני מסכים שבוא נגיד שבקירוב לא-רע זה כבר Built-in ב-Copilot, זה נכון.
      • מצד שני, יכול להיות שהם יקחו את זה הלאה וייצרו איזשהו ערך מוסף, שהיום לא קיים ב-Copilot.
    • בכל אופן - מוצר מעניין, ניסיתי אותו ב-Python, לא ניסיתי אותו עדיין במשהו אחר, אני חושב שזה עובד בכמה שפות.
  • אוקיי, נושא אחר - לא מזמן היה כנס GTC של NVIDIA - ו- GTC זה הכנס השנתי של חברת NVIDIA, זה כנס שקורה אונליין, והשנה הם גם הפגיזו בכמה הכרזות מעניינות
    • לא נעבור על כולן, אני רק אדבר על אחת  - NVIDIA למעשה הופכת להיות Cloud Platform . . . .
      • זאת אומרת - NVIDIA, שהיה עד היום, או לפחות עד לא מזמן, יצרה GPUs וגם יצרה טכנולוגיה לעבוד מעל ה-GPU
        • שפת תכנות ו-Framework-ים ו . . . לא רק את ה-GPUs עצמם - הם גם יצרו את התוכנה
    • אבל עכשיו - אולי לא מזמן, אבל לפחות עכשיו נתנו איזשהו Boost משמעותי - הם הופכים להיות Cloud Platform או Cloud Provider, שמתחרה בכל ה-Cloud Providers האחרים - אבל עם הייחוד של Generative AI.
    •  אז אם יש לכם Workload של Generative AI - בין אם זה מחקר גנטי, יצירה של תמונות . . .
      • אני לא בטוח לגבי טקסטים, אני מניח שגם זה שם
      • אבל כל מיני Use-case-ים של Generative AI שלא מקבלים מענה על ידי, נגיד, API כמו ChatGPT 
        • זאת אומרת - אם אתם רוצים לפתח לעצמכם מודל - או אולי לא לפתח מודל אבל להריץ מודל - ולעשות Inference בעצמכם, ואתם מחפשים את הפלטפורמה הנכונה לעשות את זה - אז NVIDIA טוענים שהם הפלטפורמה הנכונה.
    •  יש להם יתרון - תיאורטית, לפחות - יכול להיות להם יתרון של מחיר, כי ב-GPUs שלהם [363 GPU @ Nvidia], אז יש להם, ככה מה שנקרא אינטגרציה אנכית” של כל שרשרת האספקה, או לפחות של חלקים משמעותיים משרשרת האספקה שלהם.
      • ככה שהם יכולים להגיע ליתרון של תמחור על פני Cloud Providers אחרים -  וזה, אני מניח, גם יגרום ל-Cloud Providers האחרים לאמץ שרשרת אספקה משלהם.
    • זה לא שלא עשו את זה בעבר, כן? גוגל הוציאו TPUs וגם AWS לא עובדים רק עם NVIDIA, הם גם עובדים עם Intel
    • (אלון) קודם כל, ה-TPUs באמת לא תפס, כי עכשיו גוגל אמרו שהם הרימו איזה משהו חדש שלהם - והכל שם זה באמת כאלה של NVIDIA . . . .
      • עכשיו, זה מעניין שהספקים מרימים את הענן, כי אתה אומר ”הם חוסכים בעלויות” . . .  עכשיו, זה קצת משעשע - כי הדבר הכי יקר בחוות שרתים, להבנתי, בחוות שרתים, זה הקירור . . . 
      • אז מתבקש שתדיראן ירימו גם ענן? . . .
      • (רן) יאללה, זרקת פה רעיון . . .  מאזינינו מתאדירן - שימו לב!
      • (אלון) יאללה, מצאתי לכם מודל עסקי חדש . . . 
      • [אם זה יוביל לפרסומת “חוות שרתים טורנדו!” זה עליכם . . . ]
      • (רן) תראה, גם יותר משתלם לעשות את זה במדינה קרה, בינינו . . . אבל כן, יש בזה משהו.
    • בטח אתם זוכרים שהיה פעם ניסוי - של מיקרוספט לדעתי - שהם שמו מכולה שמכילה Data Center בתוך האוקיינוס . . . פשוט הטביעו מכולה . . . 
      • (אלון) איך נשכח?! פרק   . . . בבאמפרס 60!
        • סתם, לא יודע באיזה באמפרס, אבל זה היה כאן מתישהו . . . 
        • [ברור - 397 Bumpers 69]
      •  (רן) כן . . . יש לא מעט Data Center-ים  שנמצאים במקומות יחסית קרים, במדינות הסקנדינביות.
      • הצרה של כדור הארץ היא שברוב המקומות הקרים שהם גם מיושבים - גם עלות הנדל”ן ועלות . . . זאת אומרת, גם שאר העלויות הן גבוהות . . . 
      • אבל אולי גם זה ייפתר מתישהו . . .  Data Center באנטרקטיקה או משהו כזה.
  • (רן) טוב, יש לי עוד המון נושאים מעולם ה-Generative שאני לא אכנס אליהם . . . . כאילו, קרה כל כך הרבה, וזה מטורף . . . אולי נזכיר כמה דברים ממש קצרים ונחמדים וחמודים - אבל אני לא אכנס לכולם, ואני כן אשאיר אותם ב-Show Notes [בהמשך]
  • אז אחד הדברים הנחמדים שקורים בישראל זה פרויקט שנקרא רובו-שאול.
  • לזה מצטרפת גם איזושהי קריאה של המדען הראשי לפתח קורפוס של ספרות בעברית לצורך אימון של מודלי-שפה בעברית
    • שזה מעניין, אוקיי . . . . אז פה אני חושב שזה המדען הראשי או בכל אופן איזושהי רשות ממשלתית, שיצאה ביוזמה של פיתוח קורפוס בעברית
      • [עלט”ל - עיבוד לשון טבעית לאומי NNLP-IL]
    • של ספרות בעברית, של Resource-ים בעברית - על מנת שנוכל לאמן מודלי-שפה בעברית, [שהם] יותר טובים.
  • אז זהו - התפתחויות מקומיות, ככה מהביצה המקומית -  וככה ממש לקראת סיום, עוד שני אייטמים שהם בתחום קצת אחר אבל עדיין מעניין.
  • אז כל מי שמשתמש ב-pandas - בגדול, כל אנשי ה- Data Science משתמשים ב-pandas בצורה כזו או אחרת - יודע ש-pandas, מאחורי הקלעים, זאת אומרת ה-Backbone של pandas למעשה מבוסס על NumPy.
    • ו-NumPy זו ספרייה חישובית, מדעית, שה-Core שלה כתוב ב - ++C,  ויש לה ממשק ל-Python, וזו ספרייה סופר-סופר נפוצה - וטובה.
      • זאת אומרת, היא טובה להמון דברים ומשתמשים בה להמון המון דברים
      • וכמו שאמרתי, pandas עצמו משתמש ב-NumPy בתור Backend.
    • אבל ל-NumPy יש גם כמה חסרונות - ולמעשה, הגרסה הבאה של pandas - היא גרסא Pandas 2.0 - למעשה תאפשר להשתמש ב-Backbone אחר, שקוראים לו Apache Arrow
    • אז Apache Arrow זו ספריית Open Source של Data בזיכרון - זאת אומרת, בדומה ל-NumPy, ספרייה שיודעת להחזיק Data בזיכרון בצורה שהיא מאפשרת לקרוא אותו ב-Interface-ים שונים. 
    • זאת אומרת, לצורך העניין, אתם יכולים לייצר כמה Process-ים - אחד ב-Python, אחד ב-++C, אחד ב-Go ואחד ב-Rust - וכולם ניגשים לאותה כתובת בזיכרון.
      • שהיא מגובה על ידי Apache Arrow
      • וככה להשיג תהליך שהוא מאוד מאוד יעיל 
      • זה אחד
    • שתיים - גם אם אתם לא רוצים משהו שהוא, ככה . . .  גם אם אתם עדיין כותבים רק ב-Python, ל-Arrow יש מספר יתרונות ב-Typing . . . 
      • ספריה הרבה יותר מודרנית מ-NumPy
      • אז ב-Typing, בטיפול ב-Missing Values,  בכל מיני מקרי-קצה שכשכתבו את NumPy אולי הם היו פחות חשובים - אבל היום הם חלק מהיום-יום של כל מי שמפתח והם כואבים לעבודה.
    • אז למעשה, אפשר להשתמש ב-Arrow בתור Backend
      • עדיין ה-Backend ה-Default-י הולך להיות NumPy - אבל אני מניח שבגרסה הבאה גם זה יתחלף
    • אז איזה פיתוח מאוד מעניין באזור של pandas.
    • (דותן) אני רק רק אזכיר את Polars - שזה בעצם אותו דבר, בנוי ב-Rust . . . 
      • בעצם, אם אתה לוקח את ה- Python, עטיפת ה-Python שלו, אז בעצם אתה מקבל את Pandas 2.0.
    • האמת שזה קצת מעצבן, כי . . .  
      • זה "פייטונאות” לשמה -זאת אומרת, החוסר-היכולת להסתכל נגיד שנתיים לעתיד, להגיד “מבחינה קהילתית,  נראה לנו שבמקום לפתח את Pandas 2.0 ולהוציא את כל הקישקע ולהחליף אותו - מה אם לא נעשה את זה, ופשוט נשמש ב-Polars כתשתית?”
      • ואז pandas, מה שנקרא “תיעלם לטובת לטובת הכלל”, ותיהיה בחירה אחת - שהיא הבחירה הנכונה.
      • שזה גם המוטו של Python . . . .
    • (רן) כן . . .  אני לא יודע מה השיקולים, אני חייב להגיד. 
      • אני מניח שא’ - זה יכול להיות סתם כזה מלחמה פוליטית או מלחמת אגו, תמיד יכול לקרות
      • ויכול להיות שיש גם שיקולים הנדסיים, לא יודע - מוכנות, יכולות של Polars . . . .
    • (דותן) אני בדעה שזה לא משנה מה השיקולים . . .  נגיד שזה שיקולים הנדסיים, נגיד שזה שיקולים פוליטיים - זה לא אמור להיות משנה, בשפה שחרטה על דגלה שזה . . . Perl היה “There’s more then one way to do it” ו-Python היה “There is just one way to do it”.
    • בעצם, זה יוצר כמו Python 2.0 ו-Python 3.0 וכל ה-Package Managers  וכן הלאה . . . 
      • זה יוצר פרגמנטציה (Fragmentation) נוראית בקהילה, שעכשיו היא תחת . . . נקרא לזה “עומס ענק” מכל העולם של LLM ו-AI ו-GPT וכן הלאה.
    • (רן) כן, בלגן בתוך הבלגן . . . . אבל מצד שני, הם לא שוקטים על שמריהם, כן? הם כן מתקדמים קדימה לכיוון Arrow שזה כן סטנדרט, אוקיי?
      • אז נכון - לא Polars, אבל כן Arrow, שזה הופך להיות סטנדרטי וזה Away from NumPy
      • שהספריה עצמה היא טובה, אבל כמו שאמרתי, היא גם קצת מיושנת ויש לה חסרונות
    • אז זה כן צעד, לפחות צעד בכיוון כללי שהוא יותר של קונסולידציה (Consolidation).
    • (אלון) אני חושב שדותן - היה את הסיפור הזה עם Python 3.0, הם חשבו שלא יצליחו לעבור, הרי . . . אז לא יודע, הקהילה בסוף כן התיישרה . . . 
    • (דותן) מה, עם Python 2.0 ו-Python 3.0?
    • (אלון) כן . . .
    • (דותן) אני לא מחלק פרסים על דברים כאלה . . . . כאילו, נגיד Perl - אז Perl ניסתה ו-Perl מתה, כאילו  . . . 
    • (אלון) למה? יש Perl 7, או 6 . . . מה אמור לצאת? . . . .
    • (דותן) Perl הפכה להיות Vaporware. . . . 
      • אבל כאילו, כן . . .  מה לעשות? אני, בראש שלי, מדרג קהילות ומדרג שפות.
      • וואלה - Python עם הכי הרבה פוטנציאל והכי פחות כיוון . . . .
    • (רן) לא, אז כאילו ברמה ההנדסית אני לגמרי מבין מה אתה אומר - אבל ברמה עובדתית זה לא נכון . . . 
      • זאת אומרת, תסתכל על ה-Adoption של Python - אולי בניגוד לכל הציפיות, אבל הוא רק הולך וגדל . . .
      • אבל יכול להיות שזה ישתנה יום אחד.
  • (רן) Anyway, האייטם האחרון שלי להיום זה איזשהו ניסוי שעשו בגוגל - שבמילה אחת מפוצץ את המוח
    • או בשתי מילים - קורא את המחשבות . . . למעשה, זה ניסוי בקריאת מחשבות.
    • מה שעשו זה שלקחו נבדק, זאת אומרת אנשים, אנושיים, נבדקים - וחיברו אותם למכשיר FMRI, שקורא את גלי-ה- . . . . מסתכל על המוח, לא יודע בדיוק איך זה עובד ברמה הפיסיקלית - אבל FMRI אל המוח.
    • אז חיברו את הבן אדם לאלקטרודות, אמרו לו “תסתכל על תמונה” - נגיד מסתכל על תמונה של דובי - ואז, מתוך הOutput של האלקטרודות, הם הצליחו לעשות Reconstruction לתמונה שעליה הבן אדם הסתכל . . . 
      •  לא באופן מושלם, אבל למעשה הם הצליחו לייצר מצב שבו הם קוראים את המחשבות, באיזשהו מובן 
      • זאת אומרת, מתוך גלי המוח הם מצליחים לייצר תמונה - והתמונה היא אותה תמונה, היא אותו גירוי, אוקיי?
      • מציגים לבנאדם גירוי, קוראים את גלי המוח - ומבינים מה הגירוי 
      • אז לצורך העניין, בפעם הבאה, גם כשהוא לא יסתכל על תמונה, כשהוא רק יחשוב על משהו או שהוא ינסה להיזכר בתמונה של הילד שלו - אז מתוך גלי המוח ניתן יהיה לעשות Reconstruction לתמונה של הילד . . . 
    • וזה, במילה אחת, פשוט קריאת מחשבות . . .  כאילו, זה מדהים.
    • אז נכון שהדבר הזה לא עובד בצורה מושלמת - אתם תסתכלו על תמונות במאמר ותראו שאוקיי, יש שם כל מיני דברים וטשטושים ועיוותים וזה
      • אבל אפשר לחלוטין לזהות שחתול הופך לחתול, שדובי הופך לדובי . . . .
      • וזה סופר-סופר מעניין.
    • זה איזשהו שילוב גם של יכולות של קריאה של גלים - אבל גם משתמשים ב-Stable Diffusion.
      • זאת אומרת, גם יכולות ג’ינרוט (Generation) של תמונות, שמתבססות, בתור Input, על אותם גלי מוח.
    • אז כן, אז זה לא איזשהו מודל גנרי שיודע לקרוא את המחשבות ולבוא ולכתוב אותן, אוקיי? זה לא מודל טקסטואלי, זה אך ורק ויזואלי.
    • (אלון) זה זה אפילו יותר יפה, כי זה עם Stable Diffusion  . . . . זה כאילו יוצא ממש מגניב . . .
    • (רן) “מעבר לכל דמיון” . . . מעבר, לפחות, לדימיון שלך . . . 
    • (אלון) חלקית בדמיון, כן . . .  אבל לא, זה די פסיכי.
      • אני יודע ששנים ניסו לעשות כאלה דברים מגלי מוח - ואמרו שיש יותר מדי רעש.
    • (רן) כן, זה לא ניסוי ראשון, זה לא ניסוי ראשון . . . . דרך אגב, זה גם לא ניסוי ראשון שהצליח, צריך לומר.
      • אבל זו כן הצלחה יפה - הם כן הגיעו לתוצאות יותר יפות.
      • ובכל אופן, זה זכה לסיקור קהילתי נרחב
      • אבל צריך לומר בהוגנות שזה לא ניסוי ראשון בתחום הזה, ויש עוד מחקרים.
  • יאללה, אז זה כמו שאמרתי - יש עוד מלא נושאים כי לא הקלטנו הרבה זמן. אני אשים אותם ב-Show Notes, אבל לא נדבר עליהם ונעבור הלאה - אליך אלון!

  • [
  • ובפינתינו “אני אשים את זה ב-Show Notes” - 

    • הנה עוד כל מיני אנקדוטות (במקור מתוך “עליית המכונות” ) -   
      • תלת: אתם אומרים משפט, מקבלים אותו כמודל תלת מימדי (הוידאו של החיות המסתובבות).
      • קולות: אתם אומרים משפט "סוס דוהר ואשה צוחקת ברקע" ומקבלים הקלטה של זה. אם אתם הבעלים של ספריית אפקטים של סאונד, כשזה ישתפר אתם בצרות. (זה הוידאו השני עם הקוים הירוקים).
      • וידאו: נו חאלס. הרגע היה לנו וידאו. אז זה עוד מודל שבונה סרטי וידאו ממשפטים. ההבדל כאן שהוא יודע לצרף כמה משפטים שתרצו לוידאו ארוך יותר. הוידאו עצמו לדעתי פחות טוב מהמודל האחרון שפייסבוק הציגו השבוע, אבל נראה שיש הרבה צוותים שעובדים על הבעייה הזו ויהיו לנו שיפורים וחדשות מהר מאוד.
      • תנועה: אנימציית דמויות ממשפט: איש משליך כדור, איש רץ ונעצר. תראו את הוידאו בלינק, שוב פעם צוות ישראלי! https://guytevet.github.io/mdm-page/
      • שירה: תנו לו גליון תוים ומילים, וקבלו זמרת ששרה לכם את השיר. כבר היו כאלה בעבר, קשה לשפוט כמה זה טוב כי הדוגמאות הן ממוזיקה אסייתית כזאת. תקשיבו בעצמכם בלינק. למטה בטור הימני ביותר:
[

32:05 אלון ואיך שהאינטרנט באמת עובד

  • (אלון) וואו, איזו התרגשות! אתה יודע כמה זמן לא החזקתי פה את המיקרופון? . . . בסדר, טוב - אני חייב להגיד שהיו לי דברים שהוצאתי, כי לא הקלטנו הרבה זמן [יהיה Bumpers 81 B-Side?]
    • נגיד - יצא Windows 7, ודברים כאלה . . . .
    • אז מחקתי דברים חדשים, ונישאר עם דברים יותר מעודכנים טיפה.
    • כן, אז בפעם הבאה צריך להקליט לא פעם בעשר שנים, אז יצא משהו . . . .
  • טוב, נתחיל מאיזו ספרייה - SigNoz - שזה בעצם “Yet another Monitoring Tracing Tool”  . . . .  
    • אבל הוא נראה די מושקע וחמוד . . .  הוא כאילו מחליף לאיזה Datadog או כלי כזה
      • הוא גם נראה מאוד נראה מושקע וחמוד
    • אני האמת, אישית, עובד עם Datadog - אז לא היה לי זמן להתעסק איתו . . . 
      • אבל הוא ממש נראה לי חביב ונחמד, אז אם למישהו בא להתעסק עם כלים אחרים, פתוחים - זה נראה לי ממש כיפי.
    • (רן) התפרסם גם לא מזמן איזשהו סיפור על החשבון Datadog של Coinbase, לא יודע אם יצא לכם לראות את זה
      • לכאורה, הם משלמים . . . 
      • (אלון) כן, זה היה בבורסה - בדוח לבורסה של Coinbase האחרון, של Q1.
      • (רן) אז המספר - אם אני לא טועה - היה 60 מיליון דולר, אוקיי? [יותר לכיוון $65M]
      • (אלון) כן, אז זה פורסם בדוח של Coinbase ב-Q1 - היה רשום שההוצאות שלהם ב-Q1 על Datadog היו 65 מיליון דולר . . .
      • אבל צריך לקחת את זה קצת בחשבון - לא בטוח שזה מה שהם משלמים ברבעון . . .  אלו ההוצאות שלהם
        • יכול להיות שהם עשו הסכם של 10 שנים, והם פשוט שילמו את ההוצאות האלו מראש . . . לא ברור.
      • כן, הם משלמים להם עשרות מיליונים - אבל לא ברור לאורך איזו תקופה.
      • [דותן) לא ברור גם באיזה מטבע . . . .
      • [אלון] משלמים במטבע חדש - שהם המציאו . . . של מטריקות.
  • טוב, אז Extension חמוד אחר ל-VSCode הוא Luna Paint
    • זה אם אתם רוצים קצת, לסדר אייקונים ודברים כאלה, ולא בא לכם לצאת מה-VSCode, אז אפשר לעשות זה בתוך ה-VSCode . . . 
      • למי שאוהב להישאר באותו מקום . . . 
      • זה טוב קצת לתקן אייקונים או דברים כאלה  - לעשות favicon ושטויות כאלה
    • לא הייתי מחליף את ה-Figma בזה - אבל זה בהחלט כלי חביב למי שאוהב להישאר בסביבה שלו.
  • הכלי הבא הוא די מגניב  - הוא JSON CRACK
    •  זה ממש כלי חמוד - שמים לו JSON והוא עושה לו ויזואליזציה (Visualization) של גרף של איך שהוא נראה.
    • אז ל-JSON-ים מורכבים - הוא ממש עוזר לראות ולהבין איך הם נראים.
    • זה ממש ממש . . .  זה גם יפה, זה גם נוח להבנה - וגם יש לו Extension-ים ל-VSCode, וכנראה לעוד כל מיני דברים אחרים או Online Solutions . . . 
    • [רן] זה כאילו מייצר ERD כזה, מתוך ה-JSON . . . נכון.
    • [אלון] כן - ואז אתה גם יכול לצלול פנימה ולקבל ולהבין את ה-Nodes שלו מה-ERD הזה.
    • ממש נוח . . . ל-JSON-ים גדולים זה זה ממש באמת נוח, להבין ולראות.
    • אז מי שיש לו JSON-ים - אז תעבדו עם זה.
      • אם אין לכם JSON-ים - תיצרו JSON ותעבדו עם זה! כי זה נראה לי זה ממש כיפי וחמוד.
    • וזה עובד גם עם YAML! פשוט עושים לו Convert ל-JSON, ואז עובד איתו . . . .
      • אבל בסדר . . .  סתם, לא יודע. זהו.
  • הדבר הבא הוא אנקדוטה מעניינת - ה-Source code של WebKit . . . . 
    • אם נכנסים ל-Source Code של WebKit, שזה בעצם המנוע שמאחורי כל הדפדפנים, עדיין . . . 
    • אז יש פה משהו די מעניין - כי אתה אומר “בוא, הדפדפן זו מכונה נורא משומנת ומטורפת ועושה מלא דברים!”
    • ואז [ואז!] אתה נכנס לקוד - ואתה מגלה שיש פה מלא If-ים  . . . “If YouTube - תעשה ככה” ו-”If Amazon - תעשה ככה” ו-”If Bing - תעשה ככה” ו-”If Zoom - תעשה אחרת” . . . .
      • נגיד, ב-Line 164 בודקים אם זה Zoom או Bing, Line 152 בודקים בכלל אם זה Netflix בדפדפן  . . . 
      • [רן) מרגיש כמו Twitter . . . .
      • [אלון] וזה . . .  הקיצור - לכל אתר גדול.
    •  אפילו יותר גרוע, אני חייב להודות - זה ממש גרוע, יש פה התייחסות אפילו ל-Twitter . . .
    • זה פשוט כל אתר גדול - איכשהו בסוף מגיע לאיזה If מטומטם שם בקוד
      • וזה קצת אומר שכנראה האינטרנט הרבה פחות סטנדרטי ממה שאנחנו חושבים. . . . .
      • האי-סטנדרטיזציה זה כנראה הסטנדרט החדש - כי באמת, זה לא הגיוני שיש פה כל כך הרבה מקרים מיוחדים לכל מיני אתרים ענקיים.
    • עכשיו, זה לא איזה חמישה אתרים - יש פה עשרות או מאות אתרים, שפשוט מישהו בא ועשה פה “אם ככה -  אתה עושה ככה” וכל מיני שטויות כאלה.
    • (דותן) שמע, זה אחד הדברים היפים שראיתי, אני חייב לציין . . . .
      • למרות שזה קובץ ענק ולמרות שזה מלא If-ים כאלה מגעילים - זה קצת מחזיר דברים לקרקע.
      • זה מספר לך סיפור - שבסוף, אין קסם . . .  כאילו, בסוף מישהו צריך לבוא ולעשות את הדברים האלה.
    • מה שמפתיע אותי זה שיש פה מלא חזרתיות, ולא עשו איזו קונפיגורציה (Configuration) כזאת . . .
      • כאילו, הכל פה ממש קוד.
      • אבל  מעניין, ממש מעניין.
    • (אלון) כן, שמע - אני לא הלכתי . . .  אני לא צללתי לבדוק אם הטיפול ב-Amazon דומה לטיפול ב-Google או,  אתה יודע . . . 
      • (דותן) יכול להיות שזה עניין של ביצועים וכאלה . . . מעניין.
    • (אלון) כן, אתה יודע - יש פה דברים שאתה אומר כאילו בחייאת’ ראבאק . . . 
      • כאילו, אם Host הוא Airtable, או ש-(host.endsWith(“.airtable.com”_s . . . כאילו -  אז תעשה משהו ספציפי ל-Airtable, עם ShouldDispatchSimulatedMouseEvents::Yes . . .  כאילו . . . .
      • (דותן) משוגע, די משוגע הדבר הזה . . .
      • (אלון) . . . . בחייאת’ ראבאק . . . 
      • (דותן) כאילו, כל הדבר הזה יכול היה להיות איזה Extension של JavaScript,  שמזריקים.
        • אבל הכל פה . . .  נגיד, אני אוסיף עוד דוגמא, למי שמקשיב ומנסה להבין - אז נגיד יש פה פונקציה )()shouldAvoidResizingWhenInputViewBoundsChange 
        • ויש פה איזה If - אם ה-Host הוא Live.com, שזה מייקרוסופט כאילו, אם זה Twitter, אם זה Google אם זה SharePoint -  אז !True - וכל השאר זה False . . . 
        • ולמעלה יש אנוטציה (Annotation) - לדעתי זה כאילו מספר ה-Bug . . . .
          • [איפה הדוגמאות של ברזיק עם הערות בקוד של ביטוח לאומי בעברית-אנגלית?] 
        • של איפה ה-Issue של live.com, איפה ה-Issue של SharePoint, איפה ה-Issue של Twitter - וכן הלאה.
        • (אלון) אפשר לבלות פה שעות . . . 
        • (דותן) זה מעניין . . . מה קורה כשאחת החברות האלה עושה Rebranding, ומחליפים Domain או משנים Design פתאום ? . . . . משוגע.
    • (רן) אני מתאר שההיסטוריה . . . . קודם כל, לקובץ קוראים Quirks.cpp . . . אני מתאר לעצמי שההיסטוריה של הקובץ הזה עמוסה בשינויים שקורים באופן יום-יומי . . .
    • (דותן) בדיוק . . . בוא נראה . . . 
    • (רן) . . . ה-13 באפריל ב . . .
    • (אלון) יש פה זווית ישראלית! מי שרוצה, אני רואה פה בזווית העין גם Wix.com! נכנסו . . .
      • אז חברים ב-Wix - תסתכלו על הנושאים ב-WebKit, שלא תשברו חצי אינטרנט על איזה שינוי של משהו שאני לא יודע . . .
      • (דותן) להיפך! אם אתה אתה רוצה סתם להתעלל ואתה עובד ב-Wix, אתה יכול סתם לשנות CSS-ים וכאלה, כדי לראות את ה-Commit ב-WebKit הולך להגיע אחריך . . . 
    • (אלון) כן . . . . מי שמעניין אותו ספציפית המקרה שאני רואה פה, של Wix - זה אם אתה ב-Wix.com אז קוראים לפונקציה שנקראת “ start with letters ignoring ASCII case “ . . . .
      • ב-"/website/templates/"_s  . . . רק תכירו.
      • עכשיו פותחים ב-Wix - “רגע, מה יש לנו שם? מה יש לנו שם?”
    • זהו, בקיצור, זה ממש משעשע - אפשר בטח עם ChatGPT גם להוציא מזה דברים משעשעים של כמה חזרתיות יש לי וכל מיני סטטיסטיקות נחמדות . . . 
      • זהו - אבל זה קובץ שצריך לטייל בו . . . זה קובץ שצריך לטייל בו, ואפשר באמת לטייל בו הרבה זמן
  • טוב, יאללה - הדבר הבא יותר קליל: אתר שנקרא react.new 
    • ומה שנחמד בדבר הזה, זה שפשוט מקבלים Editor עם React עובד - ואפשר להתחיל לשחק ולכתוב
    • כאילו,  Zero Boilerplate ו-Zero Setup ו-Zero הכל . . . ממש נחמד.
    • אם אתם רוצים לשחק עם משהו React-י, לבדוק איזו קומפוננטה (Component), ללמוד React . . .
    • אז זהו - הכל ביחד: Browser ו-Test ו-Terminal -  הכל במקום אחד עם Live Changes על השינויים.
    • (רן) כאילו, קצת כמו   . . . אבל מכוון ל-React? עובד ב-React?
    • (אלון) כן, זה נראה ממש ככה, אז אפשר לעשות עם זה כל מיני דברים עם React 
      • זה ספציפית ל-React.
  • עוד דבר חמוד זה אתר שנקרא Webhook.site
    • אם אתם רוצים לבדוק איזה Webhook עם איזשהו משהו שאתם צריכים בשבילו Webhook - אז במקום שתתחילו להרים שרת ודברים כאלה, אז יש לכם . . .  
      • פשוט, אתם מקבלים אוטומטי URL שהוא Unique-י שלכם ו-Email שהוא Unique-י שלכם
      • ואז אתם יכולים לבדוק Webhook-ים ישר באתר הזה - אוטומטית, בלי להרים כלום בלי . . .  אפס Setup, הכל.
      • ישר - אתם מקבלים את זה ואתם מקבלים את כל הפרטים של הבקשה אחרי זה, של מה עשה ה-Hit ל-Webhook
        • אז יש פה איזה ממשק, שאפילו מרפרש (Refresh) את עצמו אוטומטית.
        • וזה ממש נוח לפיתוח.
    • אז אם אתם רוצים איזה Webhook, בוא נגיד - אל תעבירו שם Password-ים ב-Webhook או דברים רגישים . . .
      • אבל חוץ מזה, זה ממש . . .
    • (דותן) אבל אם יש לכם Password-ים, אז לזה לאלון יש אתר כזה אישי, שאפשר לפנות ולקבל את הכתובת ולשם לשלוח . . .
      • (אלון) נכון! נכון - והוא Secured! אני רק מבקש מספר כרטיס אשראי ואת השלוש ספרות מאחורה, רק ליתר ביטחון למקרה שמשהו יקרה . . . . חוץ מזה, הכל חינמי!
      • (רן) “לוודא שזה אתה" . . . “לא נעשה בזה שימוש” . . . תודה על השירות.
  • (אלון) נמשיך . . . . אני אדלג על אחד ואז אני אגיע - אני אשנה את הסדר! אני אגיע למצחיקול בסוף, חצי-מצחיקול 
  • אז יש איזה מאמר -  זה לא מצחיקול, למרות שזה ישמע מצחיק כי זה מפייסבוק . . . - כן, הם חיים . . .  יש Fail at Scale, מאמר של Facebook 
    • של Ben Maurer, לא יודע מי זה
    •  וזה כל מיני דברים שהם למדו ועשו בפייסבוק [לפני 2015 . . .] - על שגיאות, על SLAs ו-Human Error ו טיפול בעומסים, טיפול ב . . . .
      • איך לעשות Deployment נכון - למשל, יש פה דברים על Canary, על קונפיגורציה (Configuration).
      • על Dependencies בין Core Services
      • זה Cache-ים ו-Fire Drills . . .
      • איך הם מתמודדים . . . נגיד, יש פה איזה Pattern כזה חמוד של Adaptive LIFO Queue, שזה First-In-First-Out אבל נגיד כשיש עומסים אז הוא דווקא ניהיה הפוך, הוא נהפך ל-LIFO.
      • והרעיון אומר שאם כבר משהו כבר תקוע שם, אז אתה תתחיל לאכול את ה-Queue כי יש לך איזה Starvation - אבל אם לא, אז בוא תטפל בבקשה אחרונה קודם . . . יש פה איזה Concept נחמד נגיד.
    • בקיצור, יש פה הרבה דברים שמדברים על Performance at Scale,
      • איך להסתכל על גרפים . . . 
    • מאמר ממש חמוד - ולא ארוך! בסך הכל 17 עמודים עם תמונות אז אפשר להגיד שזה בטח 14 לאלה שמתעקשים . . . 
      • בטח אפשר לסכם אותו גם ב-ChatGPT . . . . לא, סתם
      • אבל הוא באמת מאמר הוא קל לקריאה והוא מעניין.
      • יש פה כמה דברים טריוויאליים, אבל חלקם מאוד מעניינים, חלק מהדברים.
      • אז זהו . . . 
  • (רן)  טוב יאללה תודה.
  • (אלון) רגע! הפינה האחרונה משעשעת! מצחיק . . . 
    • (רן) יאללה, תצחיק אותנו . . . 
    • יש - אפרופו Chat-ים וכאלה - יש אתר שנקרא Gandalf.lakera.ai, ומה שהוא נותן, הבחור הזה, זה שאתה . . .
    • עומד מולך Chatbot, כמו ChatGPT וכל זה, ואתה יכול לדבר איתו רגיל - והוא מחזיק סיסמה . . .
    • ואתה צריך להגיד לו שייתן לך . . .  לשכנע אותו בכל המניפולציות שעושים לכל ה-Prompt Engineering, להביא לו . . . מה הסיסמה שלך?
      • וכל פעם שאתה מצליח - אז הוא עולה רמה ונהיה יותר מתוחכם.
    • אז למשל, בהתחלה אם תשאל אותו “מה הסיסמה” - הוא ייתן לך אותה . . .
      • אחרי זה, אם תשאל אותו “מה סיסמה?” אז “אני כבר לא יכול לתת לך את זה” - ואז אתה צריך Prompt-ים קצת יותר מעניינים . . .
      • אז אתה צריך לעבוד עליו - להגיד לו תעשה Instructions כאלה ואחרים, קצת לתחמן אותו . . .
    • אז זה ממש משעשע -  כמו משחק מוחות מול . . . מרגיש כמו משחק מוחות נגד ChatGPT, כשבסוף יש סיסמה  . . .
      • אז כל פעם, ככה, עולים שלבים
    • אז זהו, אז אם אתם עוברים את Level 7, אתם מוזמנים לשלוח גלויה אל המערכת - ל-Bumpers@Bumpers.com
(רן) רוב תודות, רוב תודות . . .  ובכן נמשיך דותן!

47:28 דותן ו(בעיקר) Rust
  • (דותן) טוב, אז האייטם הראשון נקרא Transformers Agent, ש-Hugging Face הוציאו
    • כש- Hugging Face זה סוג של . . . נקרא לזה “GitHub למודלים“, וטיפה יותר מזה.
    • ו-Transformers Agent זה . . .  הייתי קורא לזה Framework שהוא דמוי LangChain, שנותן לך להשתמש במודלים 
      • וגם לתת להם כלים ולבקש מה . . .  מה שנקרא “Agent” לעשות דברים בשבילך, בצורה כמעט אוטונומית.
    • יש פה איזשהו ביג דיל, כי Hugging Face עצמם הם שחקן משמעותי בזירה הזאת, באופן שבו הם עובדים.
      • הם בדרך כלל עובדים מאוד מאוד פתוח, ויש להם גם כמה ספריות מאוד פופולריות.
      • ובעצם הם אומרים ב-Release הזה שגם הם רוצים לשחק במשחק.
    • מעניין לראות לאן זה יתפתח - ל-LangChain, שהוא סופר-פופולרי, יש כמה וכמה אלטרנטיבות.
      • אז מעניין להשתמש ולנסות
  • עוד דבר ש-Hugging Face עושים - לא בטוח שזה קרה ממש לאחרונה, אבל לאחרונה זה התחיל ככה להסתובב ברשת - וזה המאמץ של ה-BigCode שלהם, שבאופן אישי אני עוקב אחריו בצורה מאוד עמוקה.
    • בעצם, הם מוצאים סוג-של GitHub Copilot ודומיו - במאמץ פתוח
    • זאת אומרת שאת ה-Data Set הם נותנים, את המודלים הם נותנים - ממש הכל, עד ה-VSCode Extension, פתוח.
    • התעמקתי בו די הרבה - וזה פשוט מדהים עד כמה שהם נותנים את כל הפרטים של כל מה שהם עשו - 
      • מן הסתם מהמודלים, מה-Data, מה-Cleanup של ה-Data
      • מקצת Feature-ים שלקחו מכל Repository.
    • למשל, אחד הדברים שחצי-הפתיעו אותי זה שהם עושים שימוש ב-Star-ים, ב-Repo
      • זאת אומרת, המטרה שלהם זה לאמן ולג'נרט (Generate) קוד, אבל כנראה שהם רצו איזשהו Boost -וה-Boost בא מ-Star-ים על ה-Repository, שזה סופר- מעניין.
    • ועוד דבר שהם מפרטים שם בצורה מפורשת זה שהם לקחו טקסט של Issues וPR-ים
      • כלומר, שיחות של Contributor-ים או Committer-ים - ועשו Fusion של המלל של השיחה לתוך איך שהמודל “חושב” ולג'נרט (Generate) את הקוד.
    • ועוד דבר, ככה, מאפיק אחר לגמרי - הם הרי עשו Labeling של ה-Data והם פירטו שם בדיוק כמה הם שילמו ל-Labelers . . . מה שהם קוראים להם “Cloud Workers”
      • והם מספרים שהם השתדלו שזה יהיה מעל שכר המינימום בכל מדינה וכל מיני דברים כאלה . . . 
      • כלומר, פירוט די משוגע, הייתי אומר, בשביל עבודה כזאת.
    • כמובן שכל הדברים האלה לא נחשפו לנו אף פעם מאיך שבנו את Copilot
      • אז זה מדהים
    • וגם בסוף אתה מקבל בונוס - וזה את המודל ואת ה-VSCode Extension 
      • ככה שאתה יכול בעצם ממש ממש להשתמש בזה - במקום Copilot או סתם להתנסות
      • וזה מדהים
    • וגם הם בנו תשתיות לצורך זה כמו starpii - שזה PII Reduction Model,  
      • שהוא בעצמו נושא שיחה נפרד ופרויקט מאוד מאוד מרשים.
    • יש עליו ביצועים - והביצועים מטורפים יחסית למה שיש היום בשוק.
    • מדהים . . .  אני ממש עוקב אחרי העבודה של Hugging Face בתחום , זה נראה מאוד מעניין
      • במיוחד שאתה יכול “לפתוח מכסה מנוע” בכל רגע נתון ולראות בדיוק מה הם עשו.
    • (רן) זה היה . . . למעשה, טכנולוגיה דומה יכולה הייתה לעזור במוצר שיצרתם אצלך בסטארטאפ, נכון? זאת אומרת, אתם - בין השאר - גם הסרתם סודות . . .  אז אולי לא PII, אבל . . . 
      • (דותן) אז הרבה מהטכניקות הן . . .  הרבה מהטכניקות הן ממש זהות.
      • יש כל מיני טריקים ערמומיים כאלה - כמו להבין איזה Issues אתה לוקח; מי מדבר - אם זה סוג של Bot שדיבר ב-Issue ושאתה לא רוצה אותו; אם זה ה-Star-ים . . . .
      • כל מיני דברים שאתה יכול לעשות Boost, שב-Machine Learning “מסורתי” אתה ממש-ממש-ממש רוצה אותם . . . .
      • ופה גם עשו אותם - שזה מעודד, אבל האמת שלא חייבים לעשות אותם, כי הגודל של המודל פשוט נותן את האפקט הרצוי . . . .
      • אבל כן - זה סופר-סופר מעניין. זהו . . .
  • האייטם הבא הוא גם מסוג “תשתיתי” כזה - אז יש חברה שנקראת metal [בלי רפרנס ל#פידמטאל?] , שעושה . . . כאילו מה שהם עושים וה-Vision שלהם שונה, כרגע בנקודת הזמן הזאת - שאולי זה מכנה משותף של הרבה חברות שעושות . . . . הרבה סטארטאפים שקמים ממש עכשיו “על טהרת ה-LLM”. 
    • הם בעצם . . . 
    • (אלון) כל הסטארטאפים עושים אותו הדבר . . . הכל על ChatGPT . . .
      • (דותן) כן . . . . האמת שהם עושים תשתית, אז . . .
    •  בכל אופן, הם רוצים לתת את הכלים לכל מפתחי ה-LLM שיבואו בעתיד.
    • כרגע, מה שהם עושים זה - כמו שאתה אומר, אלון - הם עושים פשוט שירות שמאוד מאוד דומה לאיזה חמש חברות שקמו בחודש האחרון . . . 
    • זה נשמע טריוויאלי - והאמת שהמימוש הוא טריוויאלי . . . וזה ה-Highlight באייטם הזה.
      • שאפשר בעצם לקחת פרויקט Open Source שלהם, שלדעתי הוא גם ה-Service שעומד מאחורי החברה.
      • כלומר, אם אתה משלם כסף אז בעצם אתה משתמש ב-Open Source Project, רק מאוחסן על ידם ב-Cloud.
    • הפרויקט הזה נקרא motorhead והוא Open Source, כתוב ב-Rust
      • והוא בעצם מראה לך איך היום לממש Service כזה, שנחשב Service ממש חם למישהו לעשות היום 
      • שעושה זיכרון . . . נקרא לזה “Long short-term Memory“ לבוטים למיניהם  . . . 
    • הוא קצת עושה . . . מתעסק קצת ב-Embedding, ב-Vector Database - במקרה הזה RediSearch - ומראה לך איך ה-API עובד.
    • זה פרויקט נחמד לקרוא - וגם קצת להבין איך דברים קורים היום, באיזו רמה.
  • האייטם הבא, שהוא לדעתי יותר מרשים, זה Postgres ML.
    • וזה בעצם מקביל - בניגוד לפרויקט הקודם -זה באמת גורם לך לדמיין איך דברים צריכים להיות
    • וזה בעצם חברה שבאה ומפתחת Machine Learning Extension מעל Postgres.
    • אתה יכול לעשות דברים כמו Select . . . קודם כל, לייבא את כל ה-Data שלך, ואז לעשות עליו Select
      • ותוך כדי ה-Select, אתה יכול לבקש מה-ML Extension לעשות Embeddings, 
      • שזה חשוב לך, כי אתה יכול אחר כך להשתמש ב-Postgres Vector Extension כדי לעשות Vector Search, שזה משהו שהוא סופר-פופולרי וחם היום
    • ובעצם, כאילו - בינינו, ובין כל מי שמאזין - אתה יכול לקבל הכל ב-Database מאוד מאוד “מסורתי”
      • מאוד יציב, עם כל השירותים שהיום אתה מחפש, כאילו, בחוץ - 
      • יש לך Vector Database,  יש לך שירות שבעצם אתה לא צריך להרים Serving, שעושה לך Embedding, אתה לא צריך לבוא ולכתוב קוד משלך כדי לעשות את הדברים האלה.
    • וזה עד כדי כך, ככה שאתה עושה Select ונותן שם של מודל מ-Hugging Face, למשל - והוא עושה Download למודל, ממש תוך כדי השאילתא, 
      • ומפעיל אותו על השדות שאתה רוצה ומאחסן אותם בשדות אחרים . . . .
    • אני חושב שזה סוג של ה-Holy Grail, אם יש Holy Grails כאלה עכשיו, בתקופה הזאת.
    • (אלון) שמע, זה די פסיכי . . .  לדעתי, כלומר, זה כל מה שאתה רוצה - כאילו, אתה רוצה שיהיה לך את ה-Data ואתה רוצה להריץ עליו מודלים בקלות.
      • מניסיון, Extensions של Postgres זה ליגה - הם עובדים, זה עובד טוב, Postgres - הכל עובד בו טוב
      • שמע, זה די מטורף.
    • (דותן)  בדיוק  . . .  אז היום אתה לוקח, נגיד, LangChain או משהו כזה - ואז אין לך מספיק . . . אתה לא יכול לשלוח את הכל ל-OpenAI, אז אתה הולך ועושה Embeddings, ומאכסן את ה-Embeddings ב-Dedicated Service שעושה Vector Search . . .
    •  שבכוכבית (*) אני אגיד שזה מעניין שזה Dedicated, אבל אולי זה רק סוג של תקופה כזאת חולפת, אבל יש לך הרבה שינוע של Data וקריאות ו . . . 
    • (רן) אמרת “Dedicated” - אז (1) )יש חברה ישראלית שגייסה די הרבה כסף, לדעתי קוראים להם Pinecone, שמה שעושים זה Vector Search . . . 
      • הסיבה שזה מסובך זה כי המרחב הוא ענק . . .
      • זה כאילו ''לך לחפש'' במרחב של מאות מימדים - זה קשה . . .
      • יחד עם זאת - כן, זאת אומרת, זה מאוד הגיוני שמתישהו תהיה לזה קונסולידציה (Consolidation) בתוך Database-ים רגילים, בתור Plug-in ל-Postgres או משהו בסגנון זה.
    • (דותן) כן, בדיוק . . .  אז אני לא מזלזל, אבל בסוף זה Similarity בין וקטורים
      • אני חושב שבסוף, אני גם לא מתיימר עכשיו להיות איזה נביא, אבל נגיד חברה כמו Pinecone תרצה שבסוף, החוויית-שימוש תיהיה כמו Postgres ML
      • כי אני רוצה לקחת מקום אחד, שאצלו אני יכול “לזרוק את ה-Data” ולייצר שאילתות על כל הסוגים והגוונים של ה-Data שלי.
      • ולא רק Vector Similarity Search - כמו, נגיד, ב-RediSearch.
    • אז זהו . . . והחלק היפה גם בחברה הזאת - שהבלוג שלה פשוט פנטסטי.
      • ממש כאילו - חשיבה הנדסית נטו, עם דגש על ביצועים, עם דגש על עלויות.
      • וזה ממש Resource נהדר בפני עצמו, גם אם לא משתמשים ב-Extension ובמוצר.
      • זהו . . . 
  • האייטם הבא - אני לא יודע, רן, אם שמת אותו בעבר . . .  אבל אני מצאתי את עצמי חוזר לזה רגע בשביל “לאפס כוונות” - וזה מאמר שנקרא The Illustrated GPT-2
    • וזה מסוג הדברים שרן - אתה אוהב . . . זה ויזואליזציה (Visualization) של כל מה שקורה בתוך GPT
      • מדובר ב-GPT-2, אבל זה לא באמת משנה
      • מה שנחמד לראות זה בעצם איך דברים קורים בצורה ויזואלית.
    • (רן) כן, אני אמרתי - אבל לא דיברנו על זה בעבר . . . נראה טוב.
    • (דותן) מגניב . . . יש לו גם… תראה איך Transformer-ים עובדים, אבל למי שרוצה רגע, נגיד . . . 
      • נגיד אתה עובר על זה ואתה מקבל, לא יודע - 30%  ממה שקורה שם -  נראה לי שזה גם טוב.
      • ודיברנו על Postgres ML . . . 
    • (אלון) . . . זה ממש נוח לקריאה, כאילו . . .  הוא כיפי מבחינת ה-UI והאנימציות . . . 
    • (רן) כמו שהילדות שלי אומרות - “יש הרבה תמונות” . . .  ספר עם הרבה תמונות.
    • (אלון) כן, ספר טוב . . . מה, אני יודע לקרוא?!
      • אבל מצד שני - יותר קשה לתמצת אותו, נראה לי, עם ChatGPT, כי יש הרבה תמונות . . . אבל בסדר . . .
      • (רן) או! הרמת פה - יאללה, בפרק הבא.
      • (דותן) נתמצת את התמצות אחר כך . . .  מגניב.
  • האייטם הבא  - בעצם דיברנו על Postgres Extensions, אז הלכתי לראות איך בנו את Postgres ML
  • נושא אחר בכיוון של Rust - אז (1) ממש לא מזמן יצאה כתבה, או “חתיכת חדשות” ש-Windows בעצם הכניסו Rust ל-Kernel
    • מצד אחד - זה ביג דיל, כי זה טוב לראות וכיף לראות.
    • מצד שני - גם Microsoft עצמם אומרים שהם עושים את זה מאוד לאט ומאוד בצורה סלקטיבית . . .
      • אז הם מתקדמים לאט - אבל זה מגניב, זה בהחלט יוסיף יציבות למערכת הפעלה שאנחנו כבר יודעים שהיא לא . . .  לא נשחיר, אבל מסכים כחולים וכו’ . . . אגב . . .
      • (אלון) נראה לי שזה כבר מסך שחור . . . 
      • (דותן) לא, אצלי זה עדיין כחול . . . 
      • אבל מידי פעם, כשאני עושה גיחה ל-Windows כדי לבדוק דברים - זה עדיין קורס לי . . .
    •  אז אם מישהו שם שומע - אז תכתבו עוד Rust ב--Kernel.
    • (אלון) כן . . . . אגב, היה פעם שיצא מ-Microsoft, מה-Chief Security או משהו כזה, שהם ממליצים לכתוב Rust, הרי . . . מבחינת Security, והם רוצים להכניס יותר בתוך כל מוצרי Microsoft . . . אז בסוף זה גם מגיע לפה כנראה.
    • (דותן) כן, Kernel זה משמעותי.
  • זהו . . . מהצד השני - הימור הרבה יותר גדול על Rust: יש Distro של Linux, האמת שמאוד פופולרי ומאוד אהוב,  שנקרא Pop!_OS, מבוסס על . . . נדמה לי Upstream של Ubuntu
    • והקטע עם Pop!_OS זה שזו חברה שמייצרת חומרה מאוד מגניבה, נקראת system76.
      • סוג של Old-School Retro חדש - סופר-מגניב, סופר גיקי.
    • ויש גם את ההפצה הזאת, שאני חושב הסימן המזהה שלה זה שהיא מאוד מאוד פשוטה ואנושית וכיפית.
      • מה שנקרא ”מה ש-Ubuntu היה צריך להיות”
      • והם הצליחו לפשט הכל
    • בשלב מסוים, הם החליטו לקחת את כל ה-UI Shell, שזה בעצם כל מה שאתם רואים - כל “החלונאות”, כל ה-Widget-ים, איך שחלון נראה וכו’ - 
    • כשהם הגיעו ל-iced זו הייתה ספרייה טובה, נחמדה, עם Principles מאוד Solid, מאוד דומה ל . . . 
      • אני חושב שהדבר הכי פופולרי שאפשר להשוות אותה זה Redux, באיך שהספריית UI עובדת.
      • השראה מ-Elm, שזה אולי פחות פופולרי ופחות מוכר - אבל זה הרעיון.
    • אז הם הלכו על Design מאוד מאוד יציב של ספריית UI ושפה סופר יציבה ובטוחה.
    • הם התעסקו עם זה קצת, עשו קצת דברים - ואז הבינו שהם רוצים להחליף את הכל . . . 
      • הם פשוט פורצים דרך ומגיעים, שלב אחרי שלב, משכתבים את הכל - זה לוקח המון המון המון זמן עד עכשיו . . .
    • והדבר שהם נתקלים בו עכשיו זה בעצם - סתם כדי להעשיר את המחשבה - זה Accessibility.
      • שזה אומר “איך אתה קורא חלונות” - איך אתה נותן ל-Screen Reader לקרוא חלונות ואיך אתה “מזריק Input” לחלונות.
    • אחד הדברים שעוצרים אותם זה Security . . . יש API-ים שלא נותנים להם להזריק למלא מלא חלונות בבת-אחת
      • ועכשיו הם מתגברים על זה, וזה דברים שהם מספרים עליהם.
    •  ממש Long Shot שאני מקווה שיצליח 
    • הבעסה זה שזה נראה לי יצליח עוד כמה שנים טובות . . . 
    • זהו . . . 
    • (אלון) חברה מעניינת . . . יש להם, תוך כדי שאתה זה . . . ראיתי שהחומרה שלהם ממש חמודה.
    • (רן) רגע, אז לחברה קוראים system76? או COSMIC? מה שם החברה?
    • (דותן) system76 זה המערכת הפעלה - ו-COSMIC זה המנהל . . . נקרא לזה ה”מנהל חלונות”
      • כמו שיש לך KDE, שזה מנהל חלונות, וכו’.
    • (רן) הבנתי . . .  ו-Pop!_OS זו המערכת-הפעלה עצמה?
      • (דותן) נכון . . . השם של ההפצה, כן.
      • (רן) השם של ההפצה . . . אוקיי.
    • (אלון) יש להם Keyboard-ים, Desktop-ים, Server-ים  . . . נחמד.
    • (רן) כן . . . הלכת לאיזור המבצעים - Special Offers ? . . . .
    • (דותן) מקררים . . .
    • (אלון) כן, אני מחכה . . . חיתולים, מטרנה . . .
    • (רן) תיקי Laptop . . .
    • (רן) יפה, טוב - אז תזכרו איפה שמעתם על זה לראשונה!
    • (אלון) כן . . .  שימו בקופון שם Bumpers 81 . . .
    • (דותן) חיתולים של Pop!_OS  . . . 

אז בזה אנחנו מסיימים. תודה רבה שהייתם איתנו - ונתראה בפעם הבאה.
להתראות, יאללה ביי.

 האזנה נעימה ותודה רבה לעופר פורר על התמלול!

אין תגובות:

הוסף רשומת תגובה