Senior Data Engineer
פורסם לפני 27 ימים · 0 מועמדים
התפקיד במילים פשוטות
בתפקיד זה, תפתח תהליכי דאטה מקצה לקצה, החל מקצירת נתונים ועד להנגשתם במערכות. תבנה תשתיות דאטה שיאפשרו עבודת Data Science ותהליכי עיבוד מקדים לאימון מודלי AI, ותתמוך ותתחזק מערכות מבצעיות. תעבוד עם בסיסי נתונים מגוונים וכלי הזרמת נתונים ותהליכי ETL.
- B.Sc in Computer Science, Software Engineering, Computer Engineering or equivalent
- At least 5 years of experience developing complex ETL processes
- Full proficiency in Python
- Experience in planning, building, developing, and integrating with relational and No-SQL databases
- Experience setting up and configuring Data Pipelines with Orchestration tools (Spark, Airflow, Luigi, etc.)
- Graduate of Unit 8200 with experience in Data Engineering development roles
- Familiarity with DevOps processes
- Experience working in a Linux environment
חולץ מתיאור המשרה · מתעדכן אוטומטית
למי זה מתאים
התפקיד מתאים למהנדס/ת נתונים עם לפחות 5 שנות ניסיון בפיתוח תהליכי ETL מורכבים ושליטה מלאה ב-Python. נדרש ניסיון בתכנון, בנייה ואינטגרציה עם מסדי נתונים רלציוניים ו-No-SQL, וכן ניסיון בהקמה וקונפיגורציה של מנגנוני Data Pipelines. פחות מתאים למועמדים ללא ניסיון משמעותי בתחומים אלו.
תיאור המשרה המלא
המשרה המקורית · נשמר לעיוןקצת על התפקיד :
• פיתוח תהליכי דאטה מקצה לקצה, משלב קצירת הנתונים ועד להנגשה במערכות
• פיתוח תשתיות דאטה המאפשרות עבודת Data Science, ותהליכי עיבוד מקדים לטובת אימון מודלי AI
• עבודה עם בסיסי נתונים מגוונים, רלציוניים ולא רלציוניים (PostgreSQL, Elasticsearch, Solr, MongoDB ועוד)
• עבודה עם תשתיות הזרמת נתונים מגוונים ותהליכי ETL (Kafka, Airflow, Spark ועוד)
• תמיכה ותחזוקה של מערכות מבצעיות
• עבודה צמודה עם הנדסת מערכת, אנליסטים, צוותי Data Science ומאפיינים מבצעיים
דרישות התפקיד:
• B.Sc במדעי מחשב/הנדסת תוכנה/הנדסת מחשבים או דומה
• לפחות 5 שנות ניסיון בפיתוח תהליכי ETL מורכבים
• שליטה מלאה ב-Python
• ניסיון בתכנון, בניה, פיתוח ואינטגרציה עם מסדי נתונים רלציוניים ו- No-SQL
• ניסיון בהקמה וקונפיגורציה של מנגנוני Data Pipelines עם כלי Orchestration – Spark, Airflow, Luigi, וכדומה
• נסיון בבניית ארכיטקטורה ויצירת פתרונות טכנולוגיים לבעיות מורכבות
• ניסיון בעבודה עם Docker ו- Kubernetes
• ממשק בין אישי ברמה גבוהה
• ראיה מערכתית, יכולת פתרון בעיות הנדסיות בעבודה בסביבה דינמית ומשתנה
• יכולת למידה עצמית גבוהה וכניסה מהירה לנושאים חדשים
• בוגר/ת 8200 עם ניסיון מתפקידי פיתוח DE - יתרון
• היכרות עם תהליכי DevOps - יתרון
• ניסיון בעבודה בסביבת Linux – יתרון
למה כדאי לך להצטרף אלינו?
אתגר ועניין מקצועי
עבודה על פרוייקטים משמעותיים בהיבט הלאומי
עבודה במרכז תל אביב, על קו רכבת
שאלות על המשרה
- המשרה לא ציינה שכר. אנחנו מציגים שכר רק כשהמעסיק מפרסם אותו.
- B.Sc in Computer Science, Software Engineering, Computer Engineering or equivalent, At least 5 years of experience developing complex ETL processes, Full proficiency in Python, Experience in planning, building, developing, and integrating with relational and No-SQL databases, Experience setting up and configuring Data Pipelines with Orchestration tools (Spark, Airflow, Luigi, etc.)