יום ראשון, 26 ביולי 2015

269 Analytics and Big Data with Google Cloud

פרק נוסף בסדרה על ספקי ענן (Cloud Vendors)  הסוקרת את פלטפורמות הענן הקיימות היום והיתרונות שלהן למפתחים. נושא התוכנית הפעם: ביג דאטה אנליטיקס. כרגיל בתוכנית המשתתפים הקבועים, נתי שלום ואורי להב.
מי שעוד לא נרשם לקבוצת הפייסבוק החדשה שלנו, אז אין שום סיבה לחכות, יש שם כבר מאות מפתחים ומאוד מעניין שם. והמבצע שלנו "כוסות תמורת הערות" נמשך! מי שתורם הערה מחכימה בדיונים בכוס איכותית של Reversim.

אורח התוכנית הפעם הוא ואדים סולובי, עובד בחברת DoIT, השותפה של גוגל בישראל, אבל גם GDE – Google Developer Expert. זוהי רשת המומחים בתחומים כמו פיתוח לאנדרואיד, UX ו-UI, שיווק וניהול המוצר. סולובי הוא אחד משני המומחים בישראל לפלטפורמת הענן של גוגל.
נקודות עיקריות במהלך התוכנית:
  • גוגל בין הראשונות להתמודד עם אתגרים של ביג דאטה, וחשפה את מרבית הטכנולוגיות הפנים ארגוניות שלה. (04:00)
  • ב-2009 גוגל החליטה לממש את הרעיונות שהופיעו ב-White Papers בצורת מוצרים ללקוחות. (07:20)
  • אף אחד בגוגל לא מריץ יותר Hadoop, בגלל התחזוקה השוטפת. הכלי המועדף הוא Dremel שהפך ל-BigQuery כאשר השירות מאפשר להריץ שאילתות מהירות על Dataset בלתי מוגבל. (09:20)
  • מדובר בשירות שהוא Near Real Time, לכן אם נרצה תגובה מיידית נריץ את השאילתה בצורה של Cron מראש. (16:07)
  • אנחנו יכולים באמצעות REST API לשדר עד 100K רשומות חדשות לשניה לטבלה, לתוך ה-BigQuery וכל שאילתה תעבוד על המידע החדש. (18:09)
  • DataFlow מאפשרת לבצע סטרימינג של מידע ולנתח אותו תוך כדי. המון שימושים של אנליטיקס בשירות כזה. מתמודדת עם מידע "שהוא תוך כדי תזוזה" לעומת BigQuery ששואלת שאלות ב-SQL במידע שכבר קיים. (19:58)
  • Google BigTable זה NoSQL שניתן כשירות והוא גם הבסיס לשירותים כמו Gmail ו-Adwords. Read Latency של 20 מילישניה, אבל צריך לבחון את זה בהתאם לדרישות שלכם. מתאים לשירותים כמו פיננסים, המלצות או IoT למשל. לא מומלץ לפחות מטרהבייט של נתונים. (26:57)
  • ה-API מבוסס על על HBase כך שאפשר להעביר את בסיס הנתונים בעתיד, ולא נעולים לספק. (34:48)
  • גוגל מתכוונת להשיק RDBS חדש במהלך השנה שנקרא Spanner, והוא יהיה ב-Scale של NoSQL על מידע רלציוני. (36:30)
  • Data Proc הוא שירות שאפשר להגדיר אותו כ- Hadoop as a Service. מאוד פשוט: המערכת מייצרת את ה-Cluster, שולחים את ה-Job ובסיום הריצה לסגור את ה-Cluster ולא לשלם עליו יותר. (40:30)
  • Pub/Sub הוא סוג של Message Bus, משתלב עם כל המוצרים האחרים. מעביר עד 100 אלף הודעות בשניה למנוי, ויודעת להבטיח את הסדר שלהן. (45:51)
  • Prediction API מנוע של ML, משמש למגוון שימושים. גוגל מציעה מודלים שמבוססים על הידע שלה כמו זיהוי עצמים, פנים, שפה ועוד. (48:20)

עוד כמה קישורים מעניינים:

ותודה לרועי שלומי על התקציר של הפרק.
הקובץ נמצא כאן, האזנה נעימה

יום חמישי, 23 ביולי 2015

268 Bumpers 23

שלום לכולם, אנחנו עם פרק מיוחד של Bumpers שלא הקלטנו כבר הרבה זמן. רן תבורי, אלון נתיב ודותן נחום ואנחנו נעבור בזריזות על חידושים, הפתעות, פרויקטים ב-Github וגם הרבה דברים משעשעים.
כמובן שלא נשכח את קבוצת הפייסבוק שלנו שבה אפשר לשתף הכל, ואת הטוויטר שלנו, הבלוג או אפילו RSS. הערות חכמות ומחכימות לקהילה יזכו את המגיבות והמגיבים בכוסות קפה יפהפיות. כאן חשוב להודות לאדם בניון שעיצב את הלוגו שלנו.
מתחילים!
רן (1:20):
httpie - כלי בפייתון שהוא חלופה ל-curl, וניתן לכתוב בו בשפה מאוד נוחה.
עשור ל-Git - ראיון עם לינוס טורבלדס, המפתח מאחורי Git ולינוקס, שכולל מספר סיפורים מעניינים.
מדריך סגנון (Style Guide) ל-Git - אנחנו רגילים לזה משפות פיתוח, אבל גם ב-Git זה מעניין. יש מדריך שעוסק גם במודל של Branch-ים, חלק מזה מבוסס על Git Flow.

אלון (4:15):
wit.ai - יודע להפוך טקסט ולהוציא את כל ה-NLP, מאוד נחמד וקליל. פייסבוק קנו אותם לא מזמן.
הסקר השנתי של Stack Overflow - נתונים שמסכמים את שנת 2014, המון נתונים מעניינים. ישראל במקום רביעי מבחינת אחוז מתכנתים ביחס לאוכלוסיה.
Term SQL- הופך טקסט לטבלת SQL כך שניתן לבצע עליו שאילתות.
AWS Lambda - דיברנו על זה כאשר זה היה בבטא, ועכשיו זה הושק ואפשר להפעיל את זה בצורה מלאה. עדיין מבוסס על node.js מאחורה.
Amazon Machine Learning - שירות חדש של אמזון, ומתאים לכל מי שרצה להשתמש בכלים כאלו בסביבה של AWS.

רן (9:58):
Shireframe - כלי ליצירת Wireframes מבוסס Angular, בסגנון של כאילו איור פשוט. מזכיר את Balsamiq. בגלל שהוא מבוסס Angular אפשר להרחיב ולהוסיף לו אלמנטים.
איך מריצים MongoDB עם מנוע אחסון של RocksDB - מאמר מעניין של Parse שמציג שיפור ביכולות ובמהירות התגובה.
Google Borg - מאמר (PDF) על מאחורי הקלעים של בורג, מערכת הפרודקשן של גוגל. חלק מהמימוש הוא גם לשירותי הענן החיצוני של גוגל. מאוד מעניין לאנשי התשתיות.  
פרק חדש של Call Me Maybe - בלוג שבוחן בסיסי נתונים בסיטואציות שונות. בפרק הזה סוקרים את MongoDB ובוחן את המצב של state reads.
Google Cloud BigTable - גוגל משיקה את BigTable שמזכיר במאפיינים שלו את Cassandra, HBase ו-DynamoDB.
איך בנו את Siri - אפל חושפת את מאחורי הקלעים של Siri, שמבוסס על Mesos. בהחלא נדיר שאפל חושפים דברים פנימיים.
"תרגום" מונחים בין AWS לגוגל - טבלה שמרכזת את כל המושגים של שירותי הענן של AWS ומציגה אותם במונחים של שירותי הענן של גוגל.
Electron - לשעבר Atom Shell, מאפשר לכם לבנות אפליקציות דקסטופ בקלות מעל הפלטפורמה של Atom.

דותן (19:00):
Visual Studio Code - עורך שמיקרוסופט בנתה על Electron. כלי ששונה מסדרת הכלים של Visual Studio, ולא דומה ל-Visual Studio Express.

אלון (21:46):
בין React ל-Angular - מפגש בין המפתחים המובילים של שתי השפות כדי לבחון איך לשתף פעולה ביחד.
Blackhole.js - עושה אפקט של חור שחור על תמונות. משעשע בעיקר.
שנתיים עם node.js - מפתח שסיכם תקופה של פיתוח בשפה, וכדאי למי שחדש ב-node. מאמר דומה הוא המאמר של ארמין רונצ'ר שכתב על מעבר ל-Rust למפתחי Python.
Facebook Cold Storage - מאמר חובה לאוהבי התשתיות שסוקר את מאחורי הקלעים של פייסבוק. שווה לזכור גם את Amazon Glacier ואת Google Cloud Nearline.
איחוד בין io.js ל-node.js - שתי השפות התאחדו, אחרי פיצול שהיה סביבו גם לא מעט רפש בין שתי הקהילות.
Amazon CloudFront - עדכון לשירות מאפשר לכם לבצע Invalidation של אובייקטים במהירות. בהחלט משהו שימושי שנמצא בכל CDN ולקח לאמזון יותר מדי זמן להוסיף אותו. הפעולה מתבצעת תוך 15-20 דקות.

דותן (38:45):
דו"ח מצב GO - עוד קפיצת מדרגה בשפה, וחושפים את GO למובייל. נראה מאוד אידיאלי לסביבות משחקים, במיוחד למי שלא צריך את כל המורכבות של ++C.
Google Trace Viewer - כלי ל-Trace שנבנה במקור עבור אנדרואיד. אפשר לראות איתו גם Trace של GO.
הצצה ל-Rails - קצת הרצאות מ-RailsConf, כמו מה מגיע אחרי MVC, אבל כולל גם שיטות עבודה מומלצות.
Monolith First - מרטין פאולר ממליץ על בניה קודם כ-Monolith ורק אחר כך לפרק ל-Micro Service. מקרים שבהם ביצעו את התהליך באופן הפוך הובילו לכשלונות גדולים יותר.
Switch Tabs Fast - תוסף לכרום שעוזר במצב שיש לכם כל כך הרבה טאבים פתוחים, ומאפשר להחליף טאב עם חיפוש. בנוסף הוא מסדר את הטאבים לפי הטאבים שהשתמשתם בהם לאחרונה.

אלון (51:04):
nginx - הגרסה החדשה כוללת Sharding. שימושי למערכות High Scale.
Chrome HAR View - אתר שפותח קבצי HAR שהגיעו מה-Debug של כרום.

דותן (53:22):
GO SDK ב-AWS - אפשר לבנות כלי AWS בצורה מאוד Native.

אלון (54:37):
איך לראיין את המראיינים - טיפים מה לשאול בראיון במקום עבודה חדש. אפשר לקרוא גם פוסט בעברית שכתב רן "איך לראיין את המעסיק הבא שלך?".

דותן (56:18):
PromiseKit - אוסף של פונקציות שעוזרות לפיתוח אסינכרוני, גם ל-iOS.

פינת ה-WTF? של רן ואלון (57:13):
Unindexed - אתר שמוחק את עצמו ברגע שהוא מוצא את עצמו בגוגל.
The Fuck - מקלידים פקודה שגויה, וברגע שכותבים Fuck זה כותב אוטומטית פקודה נכונה בשורת הפקודה.
UXReactions - כל מיני GIFים משעשעים בתחום של UX.
איך להעביר את המחרוזת "null" מ-ActionScript 3 ל-SOAP Web Service - שאלה מעניינת שמתחילה בשם משפחה מוזר במיוחד של עובד, ונגמרת בדיון מרתק ב-StackOverflow. וכמובן ה-xkcd הרלוונטי.
חולצות תמורת Curl - חברת Clearbit חילקה חולצות חינם, רק שאתם צריכים לבקש אותם ב-Curl.
Pied Piper - מי שרואה את הסדרה “סיליקון ואלי” אז האתר של החברה בסדרה. משעשע במיוחד.

תודה לרועי שלומי על התקציר של הפרק.
הקובץ נמצא כאן, האזנה נעימה

יום ראשון, 5 ביולי 2015

267 Cloud Vendor Series - Mobile Backends with AWS

פרק נוסף בסדרה שלנו על ספקי ענן (Cloud Vendors) הסוקרת את הפלטפורמות הקיימות היום והיתרונות השונים שלהם למפתחים בסביבות שונות. הפרקים הקרובים יסקרו את תשתית AWS של אמזון, כאשר היום אנחנו נתרכז ב-Mobile Backend ו-IoT, ובפרקים הבאים בנושאים אחרים כמו High Availability. בתוכנית המשתתפים הקבועים נתי שלום ואורי להב.
האורח שלנו היום הוא גיא ארנסט, נציג AWS בישראל, שישוחח איתנו על Mobile Backend ו-IoT. ארנסט הוא ארכיטקט פתרונות באמזון, ובעבר מפתח בתחום של מובייל, ביג דאטה ועוד.
כמובן שלא נשכח את קבוצת הפייסבוק שלנו שבה אפשר לשתף הכל, ואת הטוויטר שלנו, הבלוג או אפילו RSS. הערות חכמות ומחכימות לקהילה יזכו את המגיבות והמגיבים בכוסות קפה עילאיות ומתנשאות עם הלוגו של Reversim.
נקודות עיקריות במהלך התוכנית:
  • אמזון נולדה לפני 20 שנה ובנתה הרבה מהתשתיות שלה בעצמה, עד שהיא החליטה לספק את זה גם לאחרים. זה דומה למודל של תשתיות החשמל, שחוסכות מאיתנו את הצורך שכל אחד יקים תחנת כוח משלו. זה עונה גם על הצורך של מפתחי מובייל שמתרכזים באפליקציה וחוסך מהם להקים Backend משלהם. (03:45)
  • מפתחי מובייל מתמודדים למשל עם הנושא של Login שהוא מחסום נוסף בפיתוח אפליקציות. את זה פותר שירות Cognito של AWS. עם הזמן השירותים בענן מתרחבים ומתפתחים, ב-Cognito  הוספנו אפשרות ל-Data Sync שמאפשר לשמור את הפרופיל או הנתונים של המשתמש בצורה פשוטה. (07:50)
  • כל הענן הוא למעשה API, ורוב הלקוחות שלנו משתמשים ב-SDK שלנו, אבל זה לא מוגבל לזה. אפשר לקרוא לענן ישירות. (11:43)
  • שירות נוסף הוא ה-Mobile Analytics, שמציג נתונים שימושיים למפתחים. לעומת השירותים האחרים בשוק שהם מוגבלים ביכולות או יקרים יותר. הגישה של AWS הוא לתת לך את ה"קוביות" להרכיב את הפתרון שלך, בעצמך או באמצעות שותפים. (12:50)
  • מודל הפיתוח של אמזון מתבסס על שירותים שמפותחים באופן עצמאי, ויש לנו יותר מ-40 שירותים כאלו. הצוותים לא גדולים (2 מגשי פיצה) והם עובדים על בסיס הדרישות של לקוחות השירות שלהם, לא של כל אמזון. (17:00)
  • שירות מעניין חדש הוא Lambda, מאפשר לקחת פונקציה ואנחנו נריץ אותה עבורכם כתוצאה מאירוע כלשהוא, עם Scaling אוטומטי לגמרי. למפתחי מובייל שמתרכזים בפיתוח אנדרואיד ו-iOS, זה שירות שחוסך מהם הרבה עבודה. (18:55)
  • כלל אצבע שלנו הוא שאם הניצול הממוצע של השרתים שלך הוא מעל 50% אז אתה כנראה מנהל את השרתים שלך מאוד טוב. אבל אם זה פחות מזה, אז עדיף לך לשלם לנו על בסיס שימוש במקום להחזיק שרתים. (24:30)
  • הקלות של שירותי הענן היום, מאפשרת להגיע משלב הרעיון לחנות האפליקציות בתור דקות ושעות. יש עדיין שיקולים של האם להקים את הענן שלך בעצמך. (32:16)
  • יותר ממיליון לקוחות, עם כאלף סיפורי לקוח שחושפים מה הם בנו. הרבה לקוחות, גם בישראל, בונים פתרונות מלאים על בסיס השירותים שלנו ויוצרים אקו-סיסטם סביב השירותים שלנו. (38:15)
  • יש לנו פוקוס גם לארגונים, מובייל הוא דוגמא טובה כי הוא מאפשר לארגונים להשיק פתרונות מובייל ולהריץ אותן בענן. יצרנו גם Region מיוחד לקהילת המודיעין האמריקאית שזכה לחשיפה בתקשורת. (42:00)

הקובץ נמצא כאן ותודה לרועי שלומי על התקציר של הפרק.