יום שישי, 21 באוגוסט 2015

274 Cloud vendor series - IoT with MS Azure



אנו מארחים את לימור לחיאני ממרכז הפיתוח של מיקרוסופט. לימור מובילה את שיתופי הפעולה בארץ של החברה עם חברות גדולות וסארטאפים.

IOT - האינטרנט של הדברים (Internet Of Thing).

היום אנו רואים ניצנים של חיבור בין העולם הווירטואלי, הכולל את הווב ותוכנות ניהול, לבין העולם הפיזי, מקררים מיקרוגלים וחיישנים אחרים.
חברת המעליות ThyssenKrupp בשיתוף פעולה עם מיקרוסופט, אוספת מידע על המעליות שלהם שעל בסיסו הם מבצעים תחזוקה מקדימה וחוסכת ללקוחות בעיות ומעלה את שביעות הרצון אצל הלקוחות.
אנו רואים התחלה של חברות העוסקות באיסוף מידע, ככלי מניעתי בתחומי הרפואה תעופה ואחרים.

תקשורת בין מגוון המכשירים וחלוקת המידע ביניהם היא פתח משמעותי וחידוש משמעותי בתחום האינטרנט של הדברים.

כיום מיקרוסופט מעמידה ותעמיד בעתיד כלים נספים לרשות המפתחים. בין שאר הדברים החברה מקיעה באמינות, בפרטיות ואבטחת מידע.
מיקרוסופט עומדת בפני הכרזה של חבילה לפתחי IOT כשכבר היום ניתן להוריד ולנסות.

נתי שלום התחיל לחבר את מערכת ההשקיה שלו לאינטרנט עם הרבה פרטים.


הקובץ נמצא כאן, האזנה נעימה ותודה רבה ליוסי על התמלול

יום חמישי, 20 באוגוסט 2015

273 The Research in R&D

איתנו באולפן אורי, אמרי קיסוס ואנוכי רן.
והפעם נדבר על החלק של המחקר שבמחקר ופיתוח.
אימרי הוא חוקר ורק אחר כך מתכנתת התמחה באלגוריתמים, עיבוד תמונה ו-Machine Learning.
כיום אימרי עובד בחברת FDNA שמתמחה בתמיכה באבחון מורפולוגי של מחלות גנטיות על סמך תמונה.

כשהאלגוריתמים מהאוניברסיטה באו לפתור בעיות אף שהוכח מתמטית שזה אפשרי התברר שכשיש נתונים לא מדוייקים (רעש) האלגוריתמים בפני עצמם לא מדוייקים מספיק.
כיום החוקר משתמש באלגולריתמים יחד עם סטטיסטיקה למידת מכונה והנדסת תוכנה מהמעלה הראשונה כדי להתמודד עם מידע רב ככל האפשר.

במאמר שפירסמה גוגל התברר שהחוקר הוא גם המפתח. כבר בשלב הוכחת ההיתכנות הקוד נכתב ברמת Production כיוון שהחוקר בסופו של דבר גם ינתח את המידע וגם יוכיח את הביצועים, ובסופו של דבר גם יתחזק. העברת האחריות תעכב את הפיתוח, מניסיונו של אימרי זה יכול להגיע לעד שלוש שנים בין כתיבת האלגוריתם ללקוח.

לעיתים חברות מושיבות את החוקר בצד ואף שהוא מגלה ומביא אלגוריתמים מתקדמים, בשלבי המעבר השונים: הנהלה, תיכנות, מימוש התגלית מאבדת את ערכה כפי שקרה בחברת Bell.
אותו דבר קורה בפניה לחוקרים, שעושה את דרכה דרך אנשי מכירות שמעבירים למתכנתים למעבירים לחוקרים שמפתחים משהו שהלקוח לא צריך.

בחברות מודרניות מקרבים את המחקר והפיתוח ומרוויחים מהירות ולמידה אצל החוקר והמפתחים כאחד.

ובהיכל התהילה: יהודה קורן ישראלי זכה בתחרות שפתחה Netflix לשיפור האלגוריתם לניבוי העדפות צפייה בקרב משתמשים.
המידע שחשפה Netflix ואיפשרה לחוקרים להתנסות עם Big Data אמיתי ובכך משכה חוקרים אפילו מהאקדמיה לעסוק בתחומי המחקר במחשבים.

Deep Learning - המערכת אומנם לומדת לאט אך הופכת מדוייקת יותר. בעבר מערכות זיהוי פנים הסתמכו על למידה מקדימה על סט למידה קטן יחסית (10,000 דגימות), בלמידה עמוקה האלגוריתמים ממשיכים להשתפר אפילו כשהסט גדול מאד (2,000,000 דגימות).

הקובץ נמצא כאן, האזנה נעימה ותודה רבה ליוסי על התמלול

References:

יום רביעי, 12 באוגוסט 2015

272 Cloud vendor series - Mobile Backends with Google Cloud Platform

אנחנו ממשיכים בסדרה שלנו על ספקי עננים. הסדרה הזאת כוללת עשרה פרקים ובה אנחנו משוחחים עם מומחים לספקי עננים, על מספר נושאים כמו High Availability, Big Data ועוד. אנחנו מתמקדים היום ב-Google Cloud Platform והנושא העיקרי הוא Mobile Backend. איתנו המשתתפים הקבועים שלנו, המשתתפים הקבועים נתי שלום ואורי להב.
אורח התוכנית הפעם הוא ואדים סולובי, עובד בחברת DoIT, השותפה של גוגל בישראל, אבל גם GDE – Google Developer Expert. זוהי רשת המומחים בתחומים כמו פיתוח לאנדרואיד, UX ו-UI, שיווק וניהול המוצר. סולובי הוא אחד משני המומחים בישראל לפלטפורמת הענן של גוגל.
כמובן שלא נשכח את קבוצת הפייסבוק שלנו שבה אפשר לשתף הכל, ואת הטוויטר שלנו, הבלוג או אפילו RSS. הערות חכמות ומחכימות לקהילה יזכו את המגיבות והמגיבים בכוסות קפה יפהפיות.
נקודות עיקריות במהלך התוכנית:
  • גוגל מציעה מגוון שירותים למובייל, כאשר השירות המרכזי הוא App Engine וחוסך זמן ומשאבים רבים. (1:49)
  • AppEngine יכול להיום להריץ אפליקציה בכל שפה, בשונה מהעבר, בזכות Docker. (5:00)
  • ניהול ה-Containers של גוגל מתבצע באמצעות טכנולוגיה פנימית שנקראת Borg. שליטה מלאה יותר מתבצעת עם Kubernetes. (7:00)
  • AppEngine כולל שירותים כמו DataStore, שזה מסד נתונים NoSQL. שירותים נוספים הם MemCache או EdgeCaching שמאחסן קבצים סטטיים ומעדכן אותם. (8:25)
  • Android Studio מציע היום אשפים שיכולים להקים Mobile Backend ולהפעיל אותו בענן. אז זה עדיין דורש שורות קוד, אבל זה מאוד קרוב ל-Mobile Backend מלא. יש גם Game Services למפתחי משחקים. (10:55)
  • Google Cloud Endpoints מאפשר לקרוא ל-Backend מאפליקציות מובייל/Web, כאשר ה-Client Library נוצר באופן אוטומטי. (14:42)
  • גוגל מציעה מגוון של מאות API כמו מפות, זיהוי תמונה ועוד. ניתן לעשות אינטגרציה עם שירות קיים עם Frontend משלנו. (17:20)
  • שירות נוסף למפתחי מובייל הוא Google Cloud Messaging, כל אפליקציה מקבלת עד מיליון התראות Push בחינם לכל 24 שעות, כאשר המערכת מנהלת את הכל באופן אוטומטי. חשוב לזכור שיש תמיכה בכל השפות הפופולריות. (18:25)
  • בתחום ה-IoT יש שיתוף פעולה בין גוגל ל-Telit יצרנית של פתרונות סלולריים, מאפשרת להעביר מידע מסנסורים לשירותים כמו Firebase או BigQuery למשל. (22:40)
  • דוגמא לאפליקציית IoT: פתרון להוסטלים של קשישים. משלב סנסורים שאוספים מידע מהבית ומהדיירים עצמם, המידע עובר ל-BigQuery ובאמצעות Pattern Recognition מתקבל ניטור על הדיירים באותו המקום. (25:30)
  • היתרון של גוגל הוא בשלות של הפתרונות שקיימים מאז 2007. (29:30)
מומלץ לעיין בסקירה שמשווה בין ספקי פלטפורמות מובייל לענן.
הקובץ נמצא כאן, האזנה נעימה ותודה לרועי שלומי על התקציר של הפרק.

יום שלישי, 11 באוגוסט 2015

271 Cloud Vendor Series - HA/DR - Vendor Free - outbrain

פרק נוסף בסדרת ספקי הענן, והיום אנחנו הולכים על Freestyle, או חברות שיש להן תשתית משלהן ולא תשתית של ספקי הענן הציבוריים. כרגיל בתוכנית המשתתפים הקבועים, נתי שלום ואורי להב.

מי שעוד לא נרשם לקבוצת הפייסבוק החדשה שלנו, אז אין שום סיבה לחכות, יש שם כבר מאות מפתחים ומאוד מעניין שם. והמבצע שלנו "כוסות תמורת הערות" נמשך! מי שתורם הערה מחכימה בדיונים בכוס איכותית של Reversim.
האורח שלנו היום הוא שי פרץ מ-Outbrain, שמסתמכת על בנית תשתית משלה. פרץ עובד עם Outbrain כמעט מהיום הראשון של החברה בתור יועץ, וכיום מנהל את קבוצת Platform Engineering and Operations. לפני כן עבד בחברות כמו Shopping.com ו-Cyota. הפעם אנחנו נתמקד בנושאי High Availability ו-Disaster Recovery.

נקודות שעלו בתוכנית:
  • יש התקרבות בין שירותי הענן לבין ניהול הדטה-סנטר הפנימי. בתוך הארגונים יש ניהול תשתיות וענן פרטי, ושירותי הענן פותחים את עצמם לעבודה יותר נוחה. (2:44)
  • התחלנו עם דאטה-סנטר אחד ועלינו לשלושה כדי לתמוך בזמינות לשותפים שלנו. HA צריך להיות מתוכנן בכל שלב, מרמת החומרה, דרך הרשת, ועד לאפליקציות והתוכנה. (5:15)
  • כלים כמו Chaos Monkey של נטפליקס, מאפשרים לבצע הכנה ל- DR. (דקה 11:35)
  • נקודת המוצא של המפתחים היא שהמכונה יכולה ליפול, גם אם השקענו בה ברכיבים איכותיים יותר. (13:33)
  • ההשקעה ב-HA היא פונקציה של זמן ה-Downtime שאנחנו מרשים לעצמנו. כלל האצבע אומר שכל 9 אחרי הנקודה מכפיל את העלות, ובהחלט צריך להתאים את ההשקעה לחשיבות הרכיב או השירות. (15:28)
  • יש הרבה הקבלות לבין ההשקעה בדאטה-סנטר לבין הצוות האנושי. צוותי האופרציה והפיתוח בנויים כך שאין תלות באדם אחד ובידע שלו. (18:50)
  • התחלנו לעבוד עם מודל של Production Engineering, אנשי אופרציה בתוך צוותי הפיתוח שמציפים את הידע הלאה. (22:00)
  • ככל שהמערכת יותר גדולה היא יותר חשופה לאירועים, היו לנו גם נפילות וגם אירועים כמו דאטה-סנטר שנפל בהוריקן סנדי. (26:20)
  • זיהוי והערכות נכונה לנפילות באמצעות כלי ניטור, ותכנון מוקדם של קיבולת הדאטה-סנטרים. (30:00)
  • העלות של אחזקת דאטה-סנטר נוסף, במיוחד אם הוא Active-Active, נמוכה יותר מפריסה מהירה בענן ציבורי, במקרה של תקלה. (35:40)
  • שינויים באוטומציה של דאטה-סנטר, שימוש בכלי קוד פתוח וחומרה שהיא סטנדרטית. (38:52)
  • ההשקעה בהקמת דאטה-סנטר עצמאי היא השקעה בידע שמחזירה את עצמה. ההפרש להריץ את אאוטבריין על AWS ב-2014 הוא 21 מיליון דולר. (43:08)

הקובץ נמצא כאן, האזנה נעימה ותודה לרועי שלומי על התקציר של הפרק.

יום שלישי, 4 באוגוסט 2015

270 Cloud Vendor Series - Big Data and Analytics with AWS

פרק נוסף בסדרה על ספקי ענן (Cloud Vendors)  הסוקרת את פלטפורמות הענן הקיימות היום והיתרונות שלהן למפתחים. כרגיל בתוכנית המשתתפים הקבועים, נתי שלום ואורי להב.

שוב נזכיר את קבוצת הפייסבוק החדשה שלנו, שבה יש מאות מפתחים ודיונים מעניינים. המבצע: "לדיון תרמת - כוס קפה קיבלת!" נמשך במלוא המרץ. הערות טובות ומחכימות יזכו את כותביהן בכוס קפה עם הלוגו של רברסים. בנוסף אנחנו זמינים גם בטוויטר, בבלוג וב-RSS.

האורח שלנו היום, גיא ארנסט, נציג AWS בישראל, שישוחח איתנו על ביג דאטה אנליטיקס בסביבת AWS. ארנסט הוא ארכיטקט פתרונות באמזון, ובעבר מפתח בתחום של מובייל, ביג דאטה ועוד.
נקודות שעלו בתוכנית:
  • שני השירותים העיקריים של אמזון בתחום הביג דאטה - EMR ו-RedShift. כאשר כמובן יש שירותים נוספים שמסייעים להעביר מידע לשירותים הללו. (4:04)
  • חברת Onavo כדוגמה, שירות שימושי שקפץ מדרגה כאשר הם התחילו לעשות ביג דאטה אנליטיקס. (7:15)
  • גוגל עצמה באופן פנימי כבר לא משתמשת ב-Hadoop לצורך אנליטיקס. הגישה לביג דאטה אנליטיקס צריכה להיות של Real Time ולא צריכה להיות ב-Batch מתוך אילוץ. (10:54)
  • ישנה עליה למשל בשימוש ב-Spark, דוגמה לטכנולוגיה שרצה מעל Hadoop הקלאסי. כמו תמיד המעבר לטכנולוגיה חדשה לוקח זמן ומשאבים, למרות שהטכנולוגיות החדשות הופכות לפשוטות יותר. (12:27)
  • סיכום: EMR יכולת להריץ Hadoop בצורה מאוד נוחה, ואפשר להריץ עליו גם כלים נוספים. RedShift ממומש אחרת, מבוסס אחרת ותומך בפרוטוקול של Postgres, מהירות של Near Real Time. וכמובן מערכת האחסון S3, ו-DynamoDB שהוא Database as a Service. (ב 17:55)
  • שירותים כמו Data Pipeline ו-Simple Workflow מאפשרים להעביר נתונים משירות לשירות, וליצור תהליכי עבודה אוטומטיים. (24:20)
  • Amazon Kinesis מאפשר צפייה בנתונים בזמן אמת, כמו למשל לוח מחוונים (Dashboard), או זיהוי הונאות  (Fraud Detection). (ב 34:14)
  • צריך להבחין בין On Demand לבין Streaming של נתונים, ואפשר לעשות את ב-Time Series Database או באמצעות Event Driven. (ב 40:38)
  • Machine Learning זה סוג של טסט שכותב את הקוד בעצמו. צריך לזכור שהמודל אף פעם לא מושלם, אבל זה יותר טוב מקוד ידני.הכלי שלנו היום Amazon ML מאפשר לעשות את זה בקלות. (47:18)
  • Amazon Mechanical Turk שנותן לאנשים לנתח את הנתונים, ואז מעביר את זה ל-ML כדי שיעשה את זה בזמן אמת. (52:44)
  • השירותים של AWS כמו למשל ML עובדים פנימית ועובדים טוב, ואם זה שימושי אנחנו משיקים את זה ללקוחות שלנו. למשל ב-RedShift השקענו 100 מיליון דולר. (53:42)
  • חלק גדול מאמזון רץ על AWS, עדיין לא 100% והמטרה היא להגיע לשם. (57:00)
עוד כמה קישורים מעניינים:
וכמה עדכונים מאז השיחה שלנו עם גיא:
  • בנוסף על הצד הטכנולוגי, בסוף יולי אמזון הודיעה על הכנסות של 1.8 מיליארד דולר משירותי AWS, עליה של 81% לעומת השנה שעברה. בהחלט נתון מרשים לעסק שהוגדר בהתחלה "הסחת דעת" על ידי אנליסטים.
  • אמזון השיקה גם שירות חדש, Device Farm, מאפשר למפתחים לבחון אפליקציות על מכשירים אמיתיים בסביבת אנדרואיד, אפל ו-Fire. השירות מעניק 250 דקות בחינה בחינם.
הקובץ נמצא כאן ותודה לרועי שלומי על התקציר של הפרק.

יום ראשון, 26 ביולי 2015

269 Analytics and Big Data with Google Cloud

פרק נוסף בסדרה על ספקי ענן (Cloud Vendors)  הסוקרת את פלטפורמות הענן הקיימות היום והיתרונות שלהן למפתחים. נושא התוכנית הפעם: ביג דאטה אנליטיקס. כרגיל בתוכנית המשתתפים הקבועים, נתי שלום ואורי להב.
מי שעוד לא נרשם לקבוצת הפייסבוק החדשה שלנו, אז אין שום סיבה לחכות, יש שם כבר מאות מפתחים ומאוד מעניין שם. והמבצע שלנו "כוסות תמורת הערות" נמשך! מי שתורם הערה מחכימה בדיונים בכוס איכותית של Reversim.

אורח התוכנית הפעם הוא ואדים סולובי, עובד בחברת DoIT, השותפה של גוגל בישראל, אבל גם GDE – Google Developer Expert. זוהי רשת המומחים בתחומים כמו פיתוח לאנדרואיד, UX ו-UI, שיווק וניהול המוצר. סולובי הוא אחד משני המומחים בישראל לפלטפורמת הענן של גוגל.
נקודות עיקריות במהלך התוכנית:
  • גוגל בין הראשונות להתמודד עם אתגרים של ביג דאטה, וחשפה את מרבית הטכנולוגיות הפנים ארגוניות שלה. (04:00)
  • ב-2009 גוגל החליטה לממש את הרעיונות שהופיעו ב-White Papers בצורת מוצרים ללקוחות. (07:20)
  • אף אחד בגוגל לא מריץ יותר Hadoop, בגלל התחזוקה השוטפת. הכלי המועדף הוא Dremel שהפך ל-BigQuery כאשר השירות מאפשר להריץ שאילתות מהירות על Dataset בלתי מוגבל. (09:20)
  • מדובר בשירות שהוא Near Real Time, לכן אם נרצה תגובה מיידית נריץ את השאילתה בצורה של Cron מראש. (16:07)
  • אנחנו יכולים באמצעות REST API לשדר עד 100K רשומות חדשות לשניה לטבלה, לתוך ה-BigQuery וכל שאילתה תעבוד על המידע החדש. (18:09)
  • DataFlow מאפשרת לבצע סטרימינג של מידע ולנתח אותו תוך כדי. המון שימושים של אנליטיקס בשירות כזה. מתמודדת עם מידע "שהוא תוך כדי תזוזה" לעומת BigQuery ששואלת שאלות ב-SQL במידע שכבר קיים. (19:58)
  • Google BigTable זה NoSQL שניתן כשירות והוא גם הבסיס לשירותים כמו Gmail ו-Adwords. Read Latency של 20 מילישניה, אבל צריך לבחון את זה בהתאם לדרישות שלכם. מתאים לשירותים כמו פיננסים, המלצות או IoT למשל. לא מומלץ לפחות מטרהבייט של נתונים. (26:57)
  • ה-API מבוסס על על HBase כך שאפשר להעביר את בסיס הנתונים בעתיד, ולא נעולים לספק. (34:48)
  • גוגל מתכוונת להשיק RDBS חדש במהלך השנה שנקרא Spanner, והוא יהיה ב-Scale של NoSQL על מידע רלציוני. (36:30)
  • Data Proc הוא שירות שאפשר להגדיר אותו כ- Hadoop as a Service. מאוד פשוט: המערכת מייצרת את ה-Cluster, שולחים את ה-Job ובסיום הריצה לסגור את ה-Cluster ולא לשלם עליו יותר. (40:30)
  • Pub/Sub הוא סוג של Message Bus, משתלב עם כל המוצרים האחרים. מעביר עד 100 אלף הודעות בשניה למנוי, ויודעת להבטיח את הסדר שלהן. (45:51)
  • Prediction API מנוע של ML, משמש למגוון שימושים. גוגל מציעה מודלים שמבוססים על הידע שלה כמו זיהוי עצמים, פנים, שפה ועוד. (48:20)

עוד כמה קישורים מעניינים:

ותודה לרועי שלומי על התקציר של הפרק.
הקובץ נמצא כאן, האזנה נעימה