Zürich
Ingénieur principal en stockage et données
- 23 juillet 2026
- 80 – 100%
- Durée indéterminée
À propos de cette offre
Ingénieur principal en stockage et données
Le Centre national suisse de superinformatique (CSCS) développe et exploite une infrastructure de calcul haute performance et de recherche sur les données qui soutient une science de classe mondiale en Suisse. Son laboratoire utilisateur est accessible aux chercheurs nationaux et internationaux du milieu académique, industriel et commercial. Le centre est géré par l'ETH Zurich et dispose de bureaux dans son centre de données à Lugano et à Zurich.
Pour ce poste, le lieu de travail est soit Lugano, soit Zurich. Le contrat est d'une durée de deux ans.
Contexte du projet
Stocker des pétaoctets est la partie facile. La partie difficile est tout ce qui se passe entre le moment où les données arrivent sur le disque et le moment où un chercheur — ou un travail d'entraînement — peut réellement leur faire confiance, les trouver et les utiliser.
Nos systèmes de fichiers parallèles et nos stockages d'objets déplacent déjà les données rapidement. Ce qu'ils ne font pas seuls, c'est indiquer à un scientifique d'où provient un ensemble de données, quelles transformations l'ont produit, s'il s'agit de la version qui a soutenu le résultat publié du trimestre dernier, ou comment l'alimenter dans un DataLoader sans saturer le sous-système d'E/S. Cet écart — entre les octets bruts et les données utilisables, traçables et reproductibles — est là où ce rôle s'inscrit.
Vous travaillerez aux deux extrémités : la couche de stockage (débit, intégrité, hiérarchisation à l'échelle multi-pétaoctets) et la couche de données au-dessus (lignée, provenance, découvrabilité, schémas d'accès). Si vous avez déjà été agacé que "les données sont sur le cluster" soit considéré comme la fin du travail plutôt que le début, continuez à lire.
Description du poste
- Faire le lien entre ingestion et utilisation. Concevoir les pipelines et métadonnées qui transforment les données ingérées en quelque chose de trouvable et consommable — catalogues, schémas et couches d'accès qui correspondent à la manière dont les travaux d'entraînement et les simulations lisent réellement, pas seulement où les octets se trouvent.
- Rendre les données traçables. Construire la lignée et la provenance pour que tout ensemble de données, point de contrôle ou résultat puisse être retracé jusqu'à ses entrées et transformations. La reproductibilité est une exigence de premier ordre ici, pas une adaptation ultérieure.
- Optimiser pour la charge de travail. Optimiser les systèmes de fichiers parallèles (Lustre, GPFS) et le stockage d'objets pour la concurrence, les petits fichiers et les grands points de contrôle des entraînements GPU distribués et des simulations HPC.
- Opérer à grande échelle, en toute sécurité. Concevoir et gérer un stockage multi-pétaoctets avec l'intégrité et la disponibilité dont dépend le travail scientifique — codage d'effacement, redondance, hiérarchisation du chaud à l'archivage.
- Automatiser tout. Déployer et faire évoluer les services de stockage et de données en tant que code. L'infrastructure Snowflake ne survit pas à cette échelle.
- Rendre cela observable. Instrumenter la santé du stockage, les tendances de capacité et la performance des pipelines pour que les problèmes apparaissent avant que les utilisateurs ne les ressentent.
- Traduire. Transformer les schémas d'accès réels des scientifiques de domaine et des ingénieurs ML en exigences techniques — et refuser poliment lorsqu'une demande risquerait de casser quelque chose en aval.
Pour un projet dans le domaine de la météo et du climat, visant à comprendre et atténuer l'impact du changement climatique, un poste est ouvert pour deux ans.
Le contrat initial de deux ans pourrait potentiellement être prolongé ou même devenir permanent.
Profil
- Un diplôme technique (informatique, ingénierie) ou une expérience équivalente démontrant la même profondeur.
- Solide expérience en stockage : systèmes de fichiers (bloc et objet), optimisation des performances, redondance (RAID, codage d'effacement).
- Python, et aisance dans l'automatisation de l'infrastructure (Ansible, Terraform ou similaire).
- Une compréhension pratique de la manière dont les charges de travail ML et scientifiques consomment les données — milliards de petits fichiers, grands points de contrôle, fragmentation — et pourquoi les agencements naïfs échouent.
- Un point de vue sur la lignée des données, la provenance ou la reproductibilité — et idéalement des outils que vous avez utilisés pour les appliquer.
Ce qui vous distingue
- Expérience pratique des systèmes de fichiers parallèles (Lustre, Spectrum Scale/GPFS) ou du stockage distribué (Ceph, VAST).
- Formats de données scientifiques — HDF5, Zarr, Parquet — et opinions sur le moment où chacun mérite sa place.
- Stockage d'objets (S3) interfacé avec des frameworks ML (PyTorch, TensorFlow).
- Orchestration (Kubernetes, Argo) et outils de déplacement de données.
- Versionnage/catalogage des données (ex. DVC, lakeFS, un catalogue de métadonnées) et familiarité avec les principes FAIR des données.
- CI/CD et provisionnement : GitLab CI, HashiCorp Vault, MAAS.
Nous n'attendons pas que toutes les cases soient cochées. La profondeur en stockage ou en ingénierie des données, plus la curiosité de se développer dans l'autre domaine, compte plus qu'une liste complète.
Ce que vous obtenez
- Du matériel et une échelle que vous ne trouverez pas dans l'informatique d'entreprise — et des problèmes sans manuel fournisseur.
- Un travail qui permet directement la science publiée et l'entraînement de modèles à la pointe.
- La possibilité de façonner la manière dont les données sont gérées, pas seulement maintenues, dans un environnement qui les prend au sérieux.
Nos valeurs fondamentales comme principes directeurs :
- Curiosité : Vous aimez apprendre et comprendre les systèmes en profondeur
- Ouverture : Vous collaborez efficacement et valorisez les perspectives différentes
- Courage : Vous êtes prêt à relever des problèmes difficiles ou inconnus
- Soutien : Vous aidez collègues et utilisateurs à réussir
- Intégrité : Vous agissez de manière responsable, fiable et transparente
Nous offrons
Nous nous engageons à construire une équipe d'ingénierie diversifiée et inclusive et encourageons particulièrement les candidatures des groupes sous-représentés dans la tech. Si vous êtes techniquement compétent, curieux et désireux de progresser, nous voulons vous entendre.
- Votre travail avec impact : Faites partie de l'ETH Zurich, qui soutient non seulement votre développement professionnel, mais contribue aussi activement à un changement positif dans la société
- Vous pouvez vous attendre à de nombreux avantages , tels que des abonnements aux transports publics et du covoiturage, une large gamme de sports proposés par le ASVZ , la garde d'enfants et des avantages de retraite attractifs
- Vous pouvez vous attendre à un environnement de travail passionnant, une diversité culturelle et des offres et avantages attractifs.
- Nous valorisons la diversité de notre équipe et, pour renforcer encore la diversité de notre personnel, nous encourageons particulièrement les femmes à postuler.
Nous valorisons la diversité et la durabilité
Conformément à nos valeurs , l'ETH Zurich encourage une culture inclusive. Nous promouvons l'égalité des chances, valorisons la diversité et favorisons un environnement de travail et d'apprentissage dans lequel les droits et la dignité de tout notre personnel et de nos étudiants sont respectés. Visitez notre site web sur l'égalité des chances et la diversité pour découvrir comment nous assurons un environnement juste et ouvert qui permet à chacun de grandir et de s'épanouir. La durabilité est une valeur fondamentale pour nous – nous travaillons constamment vers un avenir climatiquement neutre .Curieux ? Nous aussi.
Veuillez inclure les documents suivants avec votre candidature :
- Lettre de motivation en pdf
- CV en pdf
- Certificats et diplômes pertinents au format pdf
Nous attendons avec impatience de recevoir votre candidature en ligne, comprenant une lettre de motivation, un CV, des diplômes et des certificats d'emploi. Veuillez adresser votre candidature à Mme Stephanie Frequente, Ressources humaines CSCS, Via Trevano 131, 6900 Lugano.
Veuillez noter que nous n'acceptons que les candidatures soumises via notre portail de candidature en ligne. Les candidatures par e-mail ou courrier postal ne seront pas prises en compte.
Pour plus d'informations sur le CSCS, consultez notre site web . Les questions concernant le poste doivent être adressées à Pim Witlox, witlox@cscs.ch (pas de candidatures).
Pour les services de recrutement, les CGV de l'ETH Zurich s'appliquent.