יום שני, 10 בפברואר 2014

204 Fogcast 03 - Loggins

  • ליאור ורן מפזרים את הערפל - והפעם סביב לוגים
  • אז למה לדבר על לוגים?
  • לוגים הם כבר מזמן לא רק למטרות דיבאג, אלא הם משמשים ככלי לייצור מידע.
  • המידע יכול להיות syslog, אבל גם הרבה מעבר - ברוכים הבאים לעולם ה BI, פרודקט ומרקטינג.
  • מומלץ לעסוק כבר בהתחלת הפיתוח בהנחת התשתית לייצור המידע - aka אין דבר כזה premature logging
  • אפשר להתייחס לכך כסוג של פורוורד קומפטביליטי - בהתחלה מייצרים ואוספים, בעתיד אולי גם באמת מנתחים את המידע.
  • אחרת כשתרצו את המידע, הוא לא יהיה קיים.
  • הידעתם כי מע' בסיסיות רבות בגוגל לדוגמא, מבוססות על שאילתות על לוגים?
  • שימוש חביב במיוחד הוא לעקוב אחר פעולה אחת מתחילתה ועד סופה על ידי שתילה של מזהה יחודי בהודעת הלוג.

  • שירותי לוגים לדוגמא:
    • logentries - לוג כשירות
      • תמיכה ברוב השפות ,פורמטים וגם באמזון
      • קל מאוד להתחיל והתמיכה מצוינת
      • אין חובה שהלוגים יישמרו בשרת המקומי אלא ניתן להזרימם ישירות אליו
      • ואין חסרונות?
      • ההסטוריה עלולה להיות חסרה - קיימת מגבלה על משך הזמן שהשירות שומר על הלוגים
      • הצעת שיפור ללוגאנטריס - תהפכו כבר ל data-warehouse מלא

    • logstash - דורש התקנה מקומית
      • מומלץ ביותר אך עם עקומת למידה גבוהה


הקובץ נמצא כאן האזנה נעימה ותודה רבה לאורן אפרתי על התמלול!

תגובה 1:

  1. Hi
    you forgot to mention fluentd which is recommended by AWS ( at least by their big data architects)

    השבמחק