בפרק זה אירח אורי את ניר יפת, האיש שאחראי על scalability ב shopping.com בעודו מבקר בסן-פרנסיסקו.
גם ניר מכיר את מתודולוגיית הרוורס עם פלטפורמה עוד מתקופתו במושב. ניר הוא בעל נסיון נרחב בנושא והשיחה היתה מרתקת.
- מה הם צרכי הגידול? נתונים, משתמשים ואלגוריתם
- מתי ניתן לדעת בראש שקט שהמערכת יודעת לעשות scale?
- super-linear או exponential - מתי ניתן לעשות scale אבל לא באופן יעיל
- מה צפוי להגמר קודם? CPU, storage, network
- vertical scalability in databases
- הנסיון של ניר בכתיבת מנוע חיפוש שהוא sub-linear-scalable ב cpu
- יתרונות וחסרונות של רפליקציה ב databases
- Hadoop
- פתרונות scale של mysql
- מהו datacenter ואיך מתמודדים עם זה
- מה האתגרים בבניית datacenter
- איך עושים scale ל datacenter
- קוריוז: באיזה מתח כדאי להשתמש ב datacenter
תודה לניר על ההקלטה ולאורי שעשה אותה הפעם בלעדי
הקובץ נמצא כאן וניתן לשמוע אותו ישירות מהנגן פה למטה
פרק מעניין מאוד.
השבמחקיהיה מעניין להרחיב את הדיבור על השימוש ההולך וגובר במסדי מפתח-ערך(key-value)
זולים (למשל dynamo של amazon, וvoldemort של linkedin ואיך שגוגל משתמשים בברקלי ל Single-Sign-On) וההתרחקות מRDBMS מבוססי ACID בניהול כמויות מידע גדולות במיוחד הדורשות כתיבה וקריאה מאוד מהירים. בד בבד עם אלה באה גם גישת ה sharding המובנה במערכות (למרות שsharding עובד יפה עם מסדי נתונים רלציונים זולים).
דבר נוסף השווה אזכור הוא שיטות/libraries ה srialization של מידע על הקו כגון protobuf, thrift, stax, binaryxml, json, xstream, javolution וההבדלים בינהם.