Client | Unternehmen aus der Energiewirtschaft |
---|---|
Category | Data Science |
Published | Jul 20, 2023 |
Uplink fee | none More info » |
Job type | Recruiter More info » |
Für einen Kunden aus der Energiebranche suchen wir derzeit einen Data Integration Engineer (m/w/d).
Laufzeit: asap - 31.12.2023
Auslastung: ca. 60% (480 PT)
Standort: 90% Remote | 10% Hamburg
Sprache: English (must), Deutsch (sehr wünschenswert)
Als Data Integration Engineer liefern Sie hochskalierbare Datenintegrations- und Transformationspipelines.
Tasks:
• Konzeption und Entwicklung von Datenintegrationslösungen, insbesondere in Zusammenarbeit mit Envelio und EDH.
• Entwerfen, implementieren und verwalten Sie Datenflüsse, die Informationen aus verschiedenen Quellen (einschließlich e.IoT) auf der Grundlage von ELT- und ETL-Modellen integrieren.
• Übernehmen Sie die Verantwortung für zentrale Orchestrierungspipelines für alle DSOs sowie für die Datenintegrationsarchitektur und den Technologie-Stack.
• Beraten Sie Architektur-, Datenplattform-, User Interaction- und Solutions-Teams und verstehen Sie ihre individuellen Bedürfnisse und Herausforderungen.
• Stimmen sich mit den Teams ab, um Probleme beim Datenaustausch zwischen unterschiedlichen Systemen zu beheben.
Technologien:
- Azure: Solide Erfahrung mit Azure-Diensten, z. B. Data Lake, Functions, CosmosDB, DataBricks, Data Factory, Events Hub, IoT Hub
- Terraform, Terragrunt (nice to have)
- Python, PySpark
- CI/CD (GitLab)
Fähigkeiten & Erfahrungen:
- Nachgewiesene praktische DevOps-Erfahrung in Cloud-basierten Umgebungen für Data Analytics- und Data Science-Anwendungen.
- Einschlägige Erfahrung im Architekturdesign von Datenintegrationslösungen.
- Fundierte praktische Kenntnisse über Cloud-Dienste, deren Einrichtung und Integration (siehe Liste der Technologien).
- Praktische Kenntnisse von Management- und Konfigurationsdiensten und -tools (siehe Liste der Technologien).
- Programmier-/Scripting-Kenntnisse. Python bevorzugt, mehr Sprachen - nice to have.
- Praktische Erfahrung mit der Verarbeitung von Streaming-Daten, einschließlich Echtzeitanalysen und Datentransformation.
- Praktische Kenntnisse von Datenverarbeitungs- und Integrationsmustern, wie z.B. ETL und ELT.
- Praktische Kenntnisse im Umgang mit ActiveDirectory / LDAP.
- Überwachung von Cloud-Diensten und Protokollanalyse.
- Praktische Kenntnisse über Netzwerkkonfiguration und Fehlerbehebung bei der Konnektivität.
- Kenntnisse und praktische Erfahrung rund um Cloud-Sicherheit.
- Praktische Kenntnisse in GIT und CI/CD. Erfahrung mit GitLab.
- Sehr gute Englischkenntnisse in Wort und Schrift werden vorausgesetzt. Deutschkenntnisse sind sehr erwünscht.
Must have skills |
Nice to have skills |
Start date |
Length |
Engagement |
Remote |
Language requirements |
Budget |
Onsite locations |
This job is already closed and applications are therefore no longer possible.
Join Uplink now to not miss out on similar jobs in the future!