Data engineer
Posted 20 days ago · 0 applicants
Saving, applying or scoring takes a few seconds to set up your free account.
The role in plain words
This role involves joining a team to work on AI projects, where you will ingest large volumes of new data and collaborate closely with data scientists. You will design and develop critical, large-scale data processes in both cloud and on-premise environments.
- At least 3 years of experience as a Data Engineer
- 3 years of experience with Object-Oriented Programming (OOP) languages
- 3 years of experience with Python
- Hands-on experience with Spark for large scale data
- Degree in Computer Science, Engineering, Mathematics, or Statistics
- At least 2 years of hands-on experience in AWS with services like Athena, Glue, StepFunction, EMR, Redshift, RDS
Extracted from the job description · kept up to date automatically
Who this suits
This role suits experienced data engineers with at least 3 years of experience, strong Python and OOP skills, and practical experience with Spark. It is less ideal for those without a degree in computer science, engineering, mathematics, or statistics.
Full job description
Original listing · kept for referenceתיאור ודרישות משרה
תיאור משרה:
דרוש Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI . אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem
דרישות:
ניסיון של לפחות 3 שנים כ Data engineer – חובה
ניסיון של 3 שנים של עבודה עם שפות Object-Oriented Programming (OOP)
ניסיון של 3 שנים עם Python – חובה
ניסיון מעשי עם Spark עבור Large scale data – חובה
ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – יתרון משמעותי
הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
ניסיון של כלי data pipelines כמו airflow, Kubeflow
תואר במדעי המחשב. הנדסה .מתמטיקה או סטטיסטיקה – חובה
הבנה של מושגים ותהליכים בתחום machine learning
• הפניה מיועדת לנשים וגברים כאחד
• רק פניות מתאימות יענו
Questions about this role
- This listing did not state a salary. We only show pay when the employer publishes it.
- At least 3 years of experience as a Data Engineer, 3 years of experience with Object-Oriented Programming (OOP) languages, 3 years of experience with Python, Hands-on experience with Spark for large scale data, Degree in Computer Science, Engineering, Mathematics, or Statistics