- בעקבות בקשתו של מאזיננו הנאמן דוויד, התכנסנו באולפן התת-ימי שלנו לשיחה על בינה עסקית
(BI). בתא הלחץ נמצאים רן ואורי, ארז מ-OutBrain וחגי מ-LivePerson בפאנל המומחים. - גוגל, פייסבוק ודומיהן יצרו מצב שבו OLAP כבר לא היה יכול להתמודד עם כמויות המידע שהן יצרו.
- כמה זה הרבה מאוד מידע? תלוי (אבל אם אתם מטפלים ב-GB עד TB של מידע ביום - כנראה שOLAP לא בשבילכם, המומחים קוראים לזה Web Scale)
- גוגל פרצו את הדרך עם הרבה מערכות, אפליקציות ושירותים שפותחו בשביל להתמודד עם כמויות המידע העצומות שגוגל הייתה - ועודנה - צריכה להתמודד איתן.
- Vertical Partitioning יכול ליצור חוסר איזון בעומס העבודה בי מכונות, ובכלל - זה פיתרון ממש ממש רע.
- Database sharding. קשה, קשה …
- שמירה של המידע בעמודות (מול שורות או רשומות) משפר פלאים את הביצועים של בסיסי נתונים.
- התהליך ב-LivePerson: המידע הלא מעובד נכנס לצביר של Hadoop, שם הוא עובר עיבוד, משם הוא עובר לתוך בסיס הנתונים של Vertica.
- צריך להשקיע הרבה מחשבה בהכנסה נכונה של המידע ל-Vertica.
- Vertica ו-NoSql ? אין קשר משפחתי (Vertica הוא בסיס נתונים אס קיו אלי לגמרי)
- עולם ה-BI לא יכול להיות בגרנולציה של משתמש בודד
- ביג דאטה, כמו עוד כמה דברים בחיים, הוא משהו שאתה יודע שיש לך כשאתה יודע שיש לך. מבולבלים? גם אנחנו. כלל אצבע אפשרי הוא בדיקה האם המערכת תעמוד בסדר גודל אחד או שניים יותר של מידע בלי לאבד ביצועים.
- נתקלתם בבעיות של ביג דאטה? בעיות של עשירים. אבל חכו עד המיליון הראשון...
- ביג דאטה - נסו ותיהנו!
הקובץ נמצא כאן
האזנה נעימה
תודה ליותם על התמלול וארז על עבודת הסאונד (היתה בעיה בהקלטה וארז הצליח להציל את הקובץ)
אחלה נושא - מאד חשוב
השבמחקהאודיו ממש לא טוב - קשה לשמוע
אשמח אם תוכלו לצרף את הלינק על איך אפשר להתגבר על בעיית ה cap theorem שהוזכר (בקירוב אני מניח)
רן