Mise en place d'un data lake et industrialisation de pipelines de données F/H (2026-175588)

Description de l'offre

CONTEXTE ET OBJECTIF DU STAGE

La R&D du groupe EDF, intervient sur l’ensemble des métiers et activités du secteur de l’énergie. Elle soutient les différentes entités du groupe avec une double mission : optimiser les performances des activités actuelles et préparer l’avenir grâce à des technologies de rupture.

Au sein de la R&D d’EDF, le Département SYSTEME contribue à la préparation de l’avenir du Groupe EDF dans le domaine des réseaux électriques. En particulier, le département s’intéresse à l’impact sur le réseau électrique de l’augmentation
massive et locale de consommation d’énergie liée à la croissance du marché des véhicules électriques (VE).

Dans ce contexte, l’équipe manipule des données hétérogènes liées à la mobilité, aux territoires et aux véhicules électriques. Aujourd’hui, ces données et les scripts de traitement associés sont dispersés entre différents espaces de stockage, notebooks Python, scripts MATLAB et fichiers locaux. Cette organisation limite la valorisation, la traçabilité et la reproductibilité des analyses.

L’objectif du stage est de contribuer à la mise en place d’un data lake permettant de centraliser ces données, de structurer les traitements existants et de faciliter leur exploitation pour des analyses liées à la mobilité électrique.

DEROULEMENT DU STAGE

Le ou la stagiaire réalisera d’abord un état des lieux des données et traitements existants, afin d’identifier les sources, les formats utilisés et les besoins de l’équipe.

Il ou elle proposera ensuite une organisation simple et robuste du data lake, par exemple autour de zones raw, processed et éventuellement curated, en séparant clairement les données brutes, les données transformées et les jeux de données prêts pour l’analyse.

Les principales missions du stage seront :

• Structurer le stockage des données dans notre datalake et définir des conventions simples (organisation, nommage, format, mettre en place un catalogue de données avec versionnage).
• Aller chercher des données en opendata complémentaire à celle qu’on a déjà et le mettre en forme pour nos études
• Réaliser des analyses exploratoires et visualisations pour suivre la qualité des données et appuyer les études sur la mobilité électrique.
• Mettre en place des pipelines d’extraction et de transformation pour rendre les traitements reproductibles, avec une première logique d’orchestration, par exemple Makefile