Développement, industrialisation et MLOps d'un modèle de Machine Learning prédictif intégré dans Microsoft Fabric

On-siteMidML Engineerposted 1w ago

✦Role summaryAI-generated

This role focuses on building and deploying a predictive machine learning model within Microsoft Fabric, handling data preparation with PySpark and feature engineering in a lakehouse environment. The engineer will manage MLOps workflows using MLflow, automate scoring pipelines via Data Factory, and deliver insights through Power BI dashboards.

Skills required

Spark MLflow Microsoft fabric Data factory Power BI Feature engineering Model training Lakehouse Python Machine learning MLOps Data science Data engineering scikit-learn XGBoost pandas

About this role

• Préparation et ingénierie des données : Explorer, nettoyer et transformer les données historiques stockées dans le Lakehouse en utilisant des notebooks PySpark pour concevoir les variables d'entrée (feature engineering).
• Modélisation et entraînement : Développer, entraîner et évaluer plusieurs algorithmes de Machine Learning (modèles prédictifs ou de classification) adaptés à la problématique métier retenue.
• Suivi et MLOps : Suivre les cycles d'entraînement, enregistrer les métriques de performance et packager le meilleur modèle en s'appuyant sur l'intégration native de MLflow dans l'environnement Microsoft Fabric.
• Industrialisation et restitution : Automatiser les pipelines de scoring (prédictions) via Data Factory pour alimenter le niveau Gold de l'architecture, et concevoir un rapport Power BI pour restituer visuellement les prédictions et indicateurs de performance aux équipes utilisatrices.

Environnement technique :
• Plateforme Data : Microsoft Fabric (Synapse Data Science, Synapse Data Engineering, Lakehouse).
• Langages & Data Science : Python, PySpark, bibliothèques spécialisées (Scikit-Learn, XGBoost, Pandas).
• Gestion du cycle de vie (MLOps) : MLflow intégré à Fabric.
• Orchestration & Restitution : Data Factory (Pipelines), Power BI.