יום שישי, 3 באפריל 2009

פודקאסט מספר 13 - scalability עם ניר יפת


בפרק זה אירח אורי את ניר יפת, האיש שאחראי על scalability ב shopping.com בעודו מבקר בסן-פרנסיסקו.
גם ניר מכיר את מתודולוגיית הרוורס עם פלטפורמה עוד מתקופתו במושב. ניר הוא בעל נסיון נרחב בנושא והשיחה היתה מרתקת.



  • מה הם צרכי הגידול? נתונים, משתמשים ואלגוריתם
  • מתי ניתן לדעת בראש שקט שהמערכת יודעת לעשות scale?
  • super-linear או exponential - מתי ניתן לעשות scale אבל לא באופן יעיל
  • מה צפוי להגמר קודם? CPU, storage, network
  • vertical scalability in databases
  • הנסיון של ניר בכתיבת מנוע חיפוש שהוא sub-linear-scalable ב cpu
  • יתרונות וחסרונות של רפליקציה ב databases
  • Hadoop
  • פתרונות scale של mysql
  • מהו datacenter ואיך מתמודדים עם זה
  • מה האתגרים בבניית datacenter
  • איך עושים scale ל datacenter
  • קוריוז: באיזה מתח כדאי להשתמש ב datacenter

תודה לניר על ההקלטה ולאורי שעשה אותה הפעם בלעדי
הקובץ נמצא כאן וניתן לשמוע אותו ישירות מהנגן פה למטה

תגובה 1:

  1. פרק מעניין מאוד.
    יהיה מעניין להרחיב את הדיבור על השימוש ההולך וגובר במסדי מפתח-ערך(key-value)
    זולים (למשל dynamo של amazon, וvoldemort של linkedin ואיך שגוגל משתמשים בברקלי ל Single-Sign-On) וההתרחקות מRDBMS מבוססי ACID בניהול כמויות מידע גדולות במיוחד הדורשות כתיבה וקריאה מאוד מהירים. בד בבד עם אלה באה גם גישת ה sharding המובנה במערכות (למרות שsharding עובד יפה עם מסדי נתונים רלציונים זולים).
    דבר נוסף השווה אזכור הוא שיטות/libraries ה srialization של מידע על הקו כגון protobuf, thrift, stax, binaryxml, json, xstream, javolution וההבדלים בינהם.

    השבמחק