Data engineer
פורסם לפני 20 ימים · 0 מועמדים
התפקיד במילים פשוטות
התפקיד כולל השתלבות בצוות ופרויקטים בתחום ה-AI, תוך קליטה ועיבוד של כמויות נתונים גדולות בשיתוף פעולה עם מדעני נתונים. העבודה כוללת עיצוב ופיתוח של תהליכי דאטה קריטיים ומורכבים הן בסביבות ענן והן בסביבות on-prem.
- At least 3 years of experience as a Data Engineer
- 3 years of experience with Object-Oriented Programming (OOP) languages
- 3 years of experience with Python
- Hands-on experience with Spark for large scale data
- Degree in Computer Science, Engineering, Mathematics, or Statistics
- At least 2 years of hands-on experience in AWS with services like Athena, Glue, StepFunction, EMR, Redshift, RDS
חולץ מתיאור המשרה · מתעדכן אוטומטית
למי זה מתאים
התפקיד מתאים למהנדסי דאטה בעלי תואר אקדמי רלוונטי ולפחות 3 שנות ניסיון ב-Python וב-Spark לעיבוד נתונים בקנה מידה גדול. הוא פחות יתאים למי שאין לו רקע חזק בתכנות מונחה עצמים או הבנה בתהליכי למידת מכונה.
תיאור המשרה המלא
המשרה המקורית · נשמר לעיוןתיאור ודרישות משרה
תיאור משרה:
דרוש Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI . אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem
דרישות:
ניסיון של לפחות 3 שנים כ Data engineer – חובה
ניסיון של 3 שנים של עבודה עם שפות Object-Oriented Programming (OOP)
ניסיון של 3 שנים עם Python – חובה
ניסיון מעשי עם Spark עבור Large scale data – חובה
ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – יתרון משמעותי
הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
ניסיון של כלי data pipelines כמו airflow, Kubeflow
תואר במדעי המחשב. הנדסה .מתמטיקה או סטטיסטיקה – חובה
הבנה של מושגים ותהליכים בתחום machine learning
• הפניה מיועדת לנשים וגברים כאחד
• רק פניות מתאימות יענו
שאלות על המשרה
- המשרה לא ציינה שכר. אנחנו מציגים שכר רק כשהמעסיק מפרסם אותו.
- At least 3 years of experience as a Data Engineer, 3 years of experience with Object-Oriented Programming (OOP) languages, 3 years of experience with Python, Hands-on experience with Spark for large scale data, Degree in Computer Science, Engineering, Mathematics, or Statistics