ליאור ורן מפזרים את הערפל - והפעם סביב לוגים- אז למה לדבר על לוגים?
- לוגים הם כבר מזמן לא רק למטרות דיבאג, אלא הם משמשים ככלי לייצור מידע.
- המידע יכול להיות syslog, אבל גם הרבה מעבר - ברוכים הבאים לעולם ה BI, פרודקט ומרקטינג.
- מומלץ לעסוק כבר בהתחלת הפיתוח בהנחת התשתית לייצור המידע - aka אין דבר כזה premature logging
- אפשר להתייחס לכך כסוג של פורוורד קומפטביליטי - בהתחלה מייצרים ואוספים, בעתיד אולי גם באמת מנתחים את המידע.
- אחרת כשתרצו את המידע, הוא לא יהיה קיים.
- הידעתם כי מע' בסיסיות רבות בגוגל לדוגמא, מבוססות על שאילתות על לוגים?
- שימוש חביב במיוחד הוא לעקוב אחר פעולה אחת מתחילתה ועד סופה על ידי שתילה של מזהה יחודי בהודעת הלוג.
- שירותי לוגים לדוגמא:
- logentries - לוג כשירות
- תמיכה ברוב השפות ,פורמטים וגם באמזון
- קל מאוד להתחיל והתמיכה מצוינת
- אין חובה שהלוגים יישמרו בשרת המקומי אלא ניתן להזרימם ישירות אליו
- ואין חסרונות?
- ההסטוריה עלולה להיות חסרה - קיימת מגבלה על משך הזמן שהשירות שומר על הלוגים
- הצעת שיפור ללוגאנטריס - תהפכו כבר ל data-warehouse מלא
- logstash - דורש התקנה מקומית
- מומלץ ביותר אך עם עקומת למידה גבוהה
- לינקים:
הקובץ נמצא כאן
האזנה נעימה
ותודה רבה לאורן אפרתי על התמלול!
Hi
השבמחקyou forgot to mention fluentd which is recommended by AWS ( at least by their big data architects)