Senior Data Engineer – Azure Databricks & PySpark (80–100%)

Über den Job

Für unseren Kunden, eine führende Finanzinstitution in Zürich, suchen wir einen erfahrenen Senior Data Engineer, der ein Team unterstützt, das für die Entwicklung und Verbesserung einer modernen Datenplattform für Analytics und KI verantwortlich ist.

Senior Data Engineer – Azure Databricks & PySpark (80–100%)

Stellenbeschreibung:

• Entwurf, Entwicklung und Wartung skalierbarer Datenpipelines, Datenprodukte und Backend-Services, die Analytics, Reporting, Echtzeitverarbeitung und KI-Anwendungsfälle unterstützen.
• Aufbau und Optimierung von groß angelegten Datenverarbeitungslösungen mit Databricks, Apache Spark, PySpark, Spark SQL und Delta Lake.
• Entwicklung und Pflege effizienter ETL/ELT-Pipelines und Datenumwandlungsprozesse.
• Entwurf und Implementierung von Datenmodellen für analytische und operative Workloads.
• Schreiben von hochwertigem, sicherem, wartbarem und gut getesteten Code mit Python, Scala und SQL.
• Implementierung und Verbesserung von Datenqualitäts-, Governance- und Überwachungslösungen.
• Beitrag zu CI/CD-Prozessen, automatisierten Deployments und modernen Engineering-Praktiken.
• Enge Zusammenarbeit mit Cloud-, Sicherheits-, Architektur- und Geschäftsteams.

Über den Kunden:

In dieser Rolle entwerfen und bauen Sie skalierbare Datenpipelines, Datenprodukte und Backend-Services mit Azure Databricks, Apache Spark, PySpark, Python und SQL. Sie tragen zu einer modernen cloudbasierten Datenarchitektur bei und helfen, zuverlässige, leistungsstarke Datenlösungen bereitzustellen.

Rahmenbedingungen;

• Standort: Zürich, Schweiz
• Startdatum: ASAP (flexibel für den richtigen Kandidaten)
• Vertragsdauer: 12 Monate mit möglicher Verlängerung
• Arbeitsmodell: Zunächst 100 % vor Ort in Zürich während der Einarbeitung, danach hybrides Modell (60 % vor Ort / 40 % remote innerhalb der Schweiz)

Anforderungen:

• Mehr als 5 Jahre Berufserfahrung im Data Engineering, einschließlich Aufbau von unternehmensweiten Datenplattformen und ETL/ELT-Lösungen.
• Fundierte praktische Erfahrung mit Apache Spark, PySpark und/oder Spark Streaming (muss im Lebenslauf klar nachgewiesen werden).
• Nachgewiesene Erfahrung mit Azure Databricks und groß angelegter Datenverarbeitung.
• Ausgezeichnete Programmierkenntnisse in Python und SQL, einschließlich SQL-Leistungsoptimierung und Fehlerbehebung.
• Erfahrung mit Spark SQL, Structured Streaming und Delta Lake.
• Gutes Verständnis von Datenmodellierung, Data Warehousing und modernen Datenplattformarchitekturen.
• Erfahrung mit cloudbasierten Datenlösungen, vorzugsweise Microsoft Azure.
• Vertrautheit mit CI/CD-Pipelines, automatisierten Tests und Deployment-Praktiken.
• Starke analytische und problemlösende Fähigkeiten, mit der Fähigkeit, selbstständig und im Team zu arbeiten.
• Ausgezeichnete Kommunikationsfähigkeiten und Erfahrung in agilen Umgebungen.

Wünschenswert:

• Erfahrung im Finanzdienstleistungsbereich, insbesondere mit Strukturierten Produkten, Trading oder Kapitalmärkten.
• Erfahrung mit Terraform und Infrastructure as Code (IaC).
• Kenntnisse von Streaming-Technologien wie Kafka, Azure Event Hubs, Event Grid oder Apache Flink.
• Erfahrung mit dbt oder Data Vault 2.0.
• Erfahrung in technischer Beratung und Beitrag zu Architekturentscheidungen.

Vergütungsleistungen:

• Ein herausfordernder 12-Monats-Vertrag mit Verlängerungsoption.
• Die Möglichkeit, an einer modernen Azure Databricks Datenplattform innerhalb einer führenden Finanzinstitution zu arbeiten.
• Einblick in innovative Data Analytics- und KI-Initiativen.
• Ein kollaboratives Umfeld mit erfahrenen Fachleuten aus den Bereichen Engineering, Cloud und Architektur.
• Ein hybrides Arbeitsmodell nach der anfänglichen Einarbeitungsphase.
• Ein unkomplizierter Rekrutierungsprozess mit zwei Interviewrunden.