Data Engineer
פורסם לפני 28 ימים · 0 מועמדים
התפקיד במילים פשוטות
התפקיד כולל עבודה עם מערכות נתונים בקנה מידה גדול, תכנון ובניית צינורות נתונים מורכבים, ושיתוף פעולה הדוק עם מדעני נתונים. המהנדס יעבוד בסביבות ענן וגם בסביבות מקומיות, עם דגש חזק על מדרגיות, ביצועים ואופטימיזציה. הוא יהיה אחראי על תכנון ופיתוח צינורות נתונים ETL/ELT מורכבים, עבודה עם קליטת ועיבוד נתונים בקנה מידה גדול, ובנייה ואופטימיזציה של תשתית ותהליכי עבודה של נתונים.
- 3+ years of experience as a Data Engineer
- 3+ years of hands-on Python development (OOP)
- Strong experience with Apache Spark and large-scale data processing
- Bachelor’s degree in Computer Science / Engineering / Mathematics / Statistics
- Experience with AWS services (Glue, Athena, Step Functions, EMR, Redshift, RDS, Lambda, SQS/SNS)
- Experience with Airflow / Kubeflow
- Experience with Docker, Linux, Kubernetes, and CI/CD tools
- Experience building data pipelines and reusable ETL frameworks
- Experience with Microservices architecture
חולץ מתיאור המשרה · מתעדכן אוטומטית
למי זה מתאים
התפקיד מתאים למהנדסי נתונים מנוסים עם לפחות 3 שנות ניסיון וניסיון של 3 שנים בפיתוח Python (OOP). נדרש ניסיון חזק עם Apache Spark ועיבוד נתונים בקנה מידה גדול, ותואר ראשון במדעי המחשב/הנדסה/מתמטיקה/סטטיסטיקה. פחות מתאים למועמדים ללא ניסיון משמעותי בתחומים אלו.
תיאור המשרה המלא
המשרה המקורית · נשמר לעיוןData Engineer
About the role:
We are looking for an experienced Data Engineer to join a Data R&D team working on advanced AI-related projects.
The role involves working with large-scale data systems, designing and building complex data pipelines, and collaborating closely with Data Scientists.
You will work in both cloud and on-prem environments, with a strong focus on scalability, performance, and optimization.
Responsibilities:
• Design and develop complex ETL/ELT data pipelines
• Work with large-scale data ingestion and processing
• Build and optimize data infrastructure and workflows
• Collaborate with Data Science and Engineering teams
• Work across cloud and on-prem environments
Must-have requirements:
3+ years of experience as a Data Engineer
3+ years of hands-on Python development (OOP)
Strong experience with Apache Spark and large-scale data processing
Bachelor’s degree in Computer Science / Engineering / Mathematics / Statistics
Advantages:
Experience with AWS services (Glue, Athena, Step Functions, EMR, Redshift, RDS, Lambda, SQS/SNS)
Experience with Airflow / Kubeflow
Experience with Docker, Linux, Kubernetes, and CI/CD tools
Experience building data pipelines and reusable ETL frameworks
Experience with Microservices architecture
Experience with model or service deployment (SageMaker – strong advantage)
Familiarity with Kafka and API-based systems
Experience with data formats such as Parquet / Avro / Delta Lake
Exposure to Machine Learning / GenAI concepts
Location: Lod (Kashb)
Work Model: Hybrid (1 day from home)
Full-time position
Think you’re a fit? Send your CV to: tomivgi@matchpointit.com
שאלות על המשרה
- המשרה לא ציינה שכר. אנחנו מציגים שכר רק כשהמעסיק מפרסם אותו.
- היברידי
- 3+ years of experience as a Data Engineer, 3+ years of hands-on Python development (OOP), Strong experience with Apache Spark and large-scale data processing, Bachelor’s degree in Computer Science / Engineering / Mathematics / Statistics