23 בינואר 2018 פרק 332

332 Data infrastructure at Juno with Uri Shamay

332 Data infrastructure at Juno with Uri Shamay

בפרק זה אורי ורן מארחים את אורי שמאי לשיחה על Data Infrastructure בחברה שלו Juno

קצת על ג׳ונו החברה ואלו בעיות הם פותרים
על אורי, הנסיון שלו ותחביבים שקשורים לתכנה וחומרה...
איך התחילו ב Spark, ועברו ל DataFlow
על המוטיביה לעבוד עם AirFlow ועל האלטרנטיבות שלו (Luigi ועוד)

הקובץ נמצא כאן, האזנה נעימה

לינקים:

Apache-Spark: https://spark.apache.org
Luigi: https://github.com/spotify/luigi
Airbnb Airflow (became Apache project): https://github.com/apache/incubator-airflow
BE programming language Go: https://golang.org
Unified project for data processing, what Google Cloud Dataflow became: https://beam.apache.org
AWS events streams by Kinesis Firehose: https://aws.amazon.com/kinesis/data-firehose/
BigData frameworks from cloud providers:

AWS: EMR https://aws.amazon.com/emr/
https://cloud.google.com/dataproc/

Google Cloud Dataflow: https://cloud.google.com/dataflow/

קישור היסטורי • קישור קבוע