Senior Data Engineer
פורסם לפני 25 ימים · 0 מועמדים
התפקיד במילים פשוטות
התפקיד כולל פיתוח וניהול של צינורות נתונים (Data Pipelines), ניהול Data Lake בשיטות כמו Medallion Architecture ושימוש בכלים כגון DBT. בנוסף, העבודה כוללת תכנון מודלים של נתונים, אופטימיזציה לסקלביליות גבוהה, אבטחת מידע וניהול מדיניות Data Governance בסביבות ענן ו-Big Data.
- 7+ years of experience in Python (+Java / Scala)
- Python
- Experience working in an AI-assisted development environment leveraging autonomous AI agents (e.g., Cursor, Copilot, Devin-style tools)
- Experience in building data lakes, including ingestion and transformation (DBT)
- DBT
חולץ מתיאור המשרה · מתעדכן אוטומטית
למי זה מתאים
התפקיד מתאים למהנדסי נתונים מנוסים עם לפחות 7 שנות ניסיון בפייתון (או Java/Scala), רקע מעמיק ב-Data Warehousing, הזרמת נתונים (Streaming) ושימוש בכלי פיתוח מבוססי AI. התפקיד פחות מתאים למועמדים בתחילת דרכם ללא ניסיון מעשי בעבודה בסדרי גודל גבוהים.
תיאור המשרה המלא
המשרה המקורית · נשמר לעיוןIn your role as a Data Engineer at Tikal, you'll be actively engaged in the most fascinating and demanding projects for our clients. Handling high-scale operations, heavy traffic, stringent SLAs, and massive data volumes is just the starting point. Our leadership in the realms of Big Data, Streaming Data, and Complex Event Processing (CEP) stems from our adept use of cutting-edge, optimal technologies. Responsibilities: • Apply software-engineering methods and best practices (Medallion Architecture) in Data Lake management, using tools like DBT. • Develop Data pipelines to ingest and transform data. • Manage and enhance orchestrated pipelines across company • Data Modeling : Developing data models to ensure efficient storage, retrieval, and processing of data, often involving schema design for NoSQL databases, data lakes, and data warehouses. This will also include catalogs of data. • Scalability : Ensuring that the big data architecture can scale horizontally to handle large volumes of data and high traffic loads. • Data Security : Implementing security measures to protect sensitive data, including encryption, access controls, and data masking. • Data Governance : Establishing data governance policies to ensure data quality, compliance with regulations, and data lineage.
Requirements: • 7 years of experience in Python (+Java / Scala) • Proven experience working in an AI-assisted development environment, defining high-level technical goals and leveraging autonomous AI agents (e.g., Cursor, Copilot, Devin-style tools) to execute multi-file implementations, while maintaining ownership of architecture, design decisions, code quality, and final validation. • Experience in Building data lakes, including ingestion and transformation (DBT) • Data Warehousing & ETL Pipelines • SQL & Advanced Query Optimization • Experience in data formats (Parquet, Avro, ORC) • Experience in streaming (Spark Streaming, Flink, Kafka Streams, Beam, etc.) • Experience in NoSQL and data storage (e.g. Elastic, Redis, MongoDB, CouchBase, BigQuery, Snowflake, Databricks) • Experience in messaging (Kafka, RabbitMQ, etc.) • Experience in cloud platforms (AWS, GCP)
שאלות על המשרה
- המשרה לא ציינה שכר. אנחנו מציגים שכר רק כשהמעסיק מפרסם אותו.
- היברידי
- 7+ years of experience in Python (+Java / Scala), Python, Experience working in an AI-assisted development environment leveraging autonomous AI agents (e.g., Cursor, Copilot, Devin-style tools), Experience in building data lakes, including ingestion and transformation (DBT), DBT