התפקיד במילים פשוטות
תפקיד זה כולל תכנון, פיתוח ותחזוקה של צינורות נתונים (ETL/ELT) ותשתיות נתונים בסדר גודל רחב עבור מחלקת ה-AI של החברה. העבודה היום-יומית כוללת שימוש ב-Databricks, Apache Spark, Airflow וסביבת הענן Azure, לצד אופטימיזציה של שאילתות ופתרון תקלות בביצועים. כמו כן, התפקיד כולל יישום פרקטיקות של אבטחת מידע, ממשל נתונים וניטור.
- 4 years of experience in data engineering or related fields
- Python
- Apache Spark
- Databricks
- Git
חולץ מתיאור המשרה · מתעדכן אוטומטית
למי זה מתאים
התפקיד מתאים למהנדסי נתונים בעלי לפחות 4 שנות ניסיון, השולטים היטב ב-Python, Spark, Databricks, Git ו-SQL. הוא פחות מתאים למי שחסר ניסיון מעשי בעבודה עם טכנולוגיות Big Data בסביבת ענן או מחפש תפקיד ג'וניור.
תיאור המשרה המלא
המשרה המקורית · נשמר לעיוןDRS RADA is a leading defense high-tech company specializing in radar systems development. We are seeking an experienced Data Engineer to join our data engineering team. In this role, you will play a crucial part in designing, developing, and maintaining scalable data pipelines and infrastructure to support our AI department. This is an opportunity to work with cutting-edge technologies in a fast-paced production environment, driving impactful, data-driven solutions for the business. Key Responsibilities: • Design, develop, and optimize ETL/ELT pipelines for large-scale data processing. • Work with a modern data stack, including Databricks (Spark, SQL), Apache Airflow, and Azure services. • Troubleshoot and optimize queries and jobs for performance improvements. • Implement best practices for data governance, security, and monitoring. • Stay updated with industry trends and emerging technologies in data engineering. If you're passionate about building scalable data solutions and thrive in a fast-paced environment, we’d love to hear from you!
Requirements: • 4 years of experience in data engineering or related fields. • Proficiency in Python for data processing and automation (mandatory). • Deep understanding of Apache Spark and Databricks for big data processing (mandatory). • Experience with Git (mandatory). • Expertise in Apache Airflow for workflow orchestration. • Familiarity with cloud-based environments, particularly Azure. • Advanced proficiency in SQL and query optimization. • Familiarity with data modeling, ETL/ELT principles, and performance tuning. • Knowledge of CI/CD and containerization (Docker). • An enthusiastic, fast-learning, team-oriented, and motivated individual who loves working with data.
שאלות על המשרה
- המשרה לא ציינה שכר. אנחנו מציגים שכר רק כשהמעסיק מפרסם אותו.
- 4 years of experience in data engineering or related fields, Python, Apache Spark, Databricks, Git