90% Remote: Data Integration Engineer (m/w/d)

Für einen Kunden aus der Energiebranche suchen wir derzeit einen Data Integration Engineer (m/w/d).

Laufzeit: asap - 31.12.2023
Auslastung: ca. 60% (480 PT)
Standort: 90% Remote | 10% Hamburg
Sprache: English (must), Deutsch (sehr wünschenswert)

Als Data Integration Engineer liefern Sie hochskalierbare Datenintegrations- und Transformationspipelines.

Tasks:
• Konzeption und Entwicklung von Datenintegrationslösungen, insbesondere in Zusammenarbeit mit Envelio und EDH.
• Entwerfen, implementieren und verwalten Sie Datenflüsse, die Informationen aus verschiedenen Quellen (einschließlich e.IoT) auf der Grundlage von ELT- und ETL-Modellen integrieren.
• Übernehmen Sie die Verantwortung für zentrale Orchestrierungspipelines für alle DSOs sowie für die Datenintegrationsarchitektur und den Technologie-Stack.
• Beraten Sie Architektur-, Datenplattform-, User Interaction- und Solutions-Teams und verstehen Sie ihre individuellen Bedürfnisse und Herausforderungen.
• Stimmen sich mit den Teams ab, um Probleme beim Datenaustausch zwischen unterschiedlichen Systemen zu beheben.

Technologien:
- Azure: Solide Erfahrung mit Azure-Diensten, z. B. Data Lake, Functions, CosmosDB, DataBricks, Data Factory, Events Hub, IoT Hub
- Terraform, Terragrunt (nice to have)
- Python, PySpark
- CI/CD (GitLab)

Fähigkeiten & Erfahrungen:
- Nachgewiesene praktische DevOps-Erfahrung in Cloud-basierten Umgebungen für Data Analytics- und Data Science-Anwendungen.
- Einschlägige Erfahrung im Architekturdesign von Datenintegrationslösungen.
- Fundierte praktische Kenntnisse über Cloud-Dienste, deren Einrichtung und Integration (siehe Liste der Technologien).
- Praktische Kenntnisse von Management- und Konfigurationsdiensten und -tools (siehe Liste der Technologien).
- Programmier-/Scripting-Kenntnisse. Python bevorzugt, mehr Sprachen - nice to have.
- Praktische Erfahrung mit der Verarbeitung von Streaming-Daten, einschließlich Echtzeitanalysen und Datentransformation.
- Praktische Kenntnisse von Datenverarbeitungs- und Integrationsmustern, wie z.B. ETL und ELT.
- Praktische Kenntnisse im Umgang mit ActiveDirectory / LDAP.
- Überwachung von Cloud-Diensten und Protokollanalyse.
- Praktische Kenntnisse über Netzwerkkonfiguration und Fehlerbehebung bei der Konnektivität.
- Kenntnisse und praktische Erfahrung rund um Cloud-Sicherheit.
- Praktische Kenntnisse in GIT und CI/CD. Erfahrung mit GitLab.
- Sehr gute Englischkenntnisse in Wort und Schrift werden vorausgesetzt. Deutschkenntnisse sind sehr erwünscht.