Stage de fin d’études — LLM-as-a-Judge : évaluation automatique, fiabilité et qualité des modèles d’IA (H/F)

Votre équipe

Une communauté de +500 consultants IA & Data, renforcée depuis septembre 2026 par l’intégration d’AI Builders. Nous accompagnons les organisations de bout en bout :

• Identifier les cas d’usage IA à plus forte valeur métier
• Concevoir des plateformes Data & IA performantes et industrialisées
• Définir des modèles de gouvernance responsables et scalables

Du concret, pas de l’IA de démonstration : nos équipes développent des solutions déployées en production, parmi lesquelles :

• Une plateforme Data Groupe sur Microsoft Fabric
• Un système multi-agents traitant 80 000 demandes d’achat par an
• Une plateforme de services IA basée sur l’écosystème Mistral
• Un modèle de computer vision atteignant 91 % de précision terrain

Un écosystème technologique de premier plan : nous travaillons avec les principaux acteurs du marché : Microsoft, Google, AWS, Mistral, Anthropic, Databricks et Dataiku, tout en conservant une approche indépendante, guidée par la valeur créée pour nos clients.

Votre sujet de stage

En parallèle de vos missions, vous conduirez un sujet de stage fil rouge. Ce sujet vous permettra d’approfondir une expertise spécifique, de contribuer à la communauté IA de Wavestone et de valoriser vos travaux lors d’une restitution en fin de stage.

Votre sujet fil rouge consistera à concevoir un dispositif d’évaluation automatique fondé sur l’approche LLM-as-a-Judge : protocoles d’évaluation, jeux de test, mesure de la corrélation avec le jugement humain et analyse des biais du modèle juge. Vous contribuerez à produire un cadre d’évaluation applicable à l’ensemble de nos projets d’IA générative et agentiques.

Vos responsabilités

Sous la tutelle d’un·e consultant·e et le pilotage d’un·e manager, vous interviendrez progressivement sur les missions suivantes :

• Concevoir des protocoles d’évaluation automatique de solutions GenAI et agentiques
• Construire des jeux de test et des grilles de notation adaptés aux cas d’usage
• Mesurer la fiabilité des évaluations et analyser les biais des modèles juges
• Intégrer l’évaluation dans les chaînes de déploiement et les dispositifs de monitoring
• Formaliser un cadre d’évaluation réutilisable et le diffuser au sein de la communauté

Quel que soit votre sujet, vous réaliserez une veille technologique continue sur les solutions Data & IA et contribuerez à la vie et au rayonnement de la communauté IA Wavestone.

Exemples de missions

• Transverse : mise en place d’un dispositif d’évaluation continue sur une plateforme agentique multi-usages
• Industrie : évaluation de la qualité et de la fiabilité des réponses d’un agent documentaire technique
• Énergie : mesure de la pertinence d’un assistant conversationnel sur un corpus réglementaire

Votre accompagnement

• Un·e tuteur·rice, un·e chef·fe de projet et un·e Career Development Manager pour vous guider tout au long de votre parcours
• L’AI School, parcours d’acculturation commun à tous les arrivants, stagiaires inclus
• L’accès à DataCamp, au programme d’upskilling AI&Me et à une licence Copilot M365
• Des feedbacks réguliers, un parcours d’intégration structuré et une communauté active de nouveaux arrivants

Qualifications

Profil recherché

• Étudiant·e en dernière année de grande école d’ingénieurs ou de commerce (Diplôme d’Ingénieur, PGE), avec une spécialisation en data science, intelligence artificielle, transformation digitale ou stratégie
• Maîtrise de Python et pratique des frameworks LLM : appels d’API, prompt engineering, architectures RAG
• Rigueur méthodologique et goût pour la mesure et l’expérimentation
• Motivation pour découvrir le conseil et les environnements client grands comptes

Langues

• Français : un niveau courant est requis pour ce poste
• Anglais : un niveau minimum C1 est requis pour ce poste

Ce qui fera la différence

• Curiosité intellectuelle et envie d’apprendre
• Capacité d’analyse et de structuration
• Autonomie et sens des responsabilités
• Aisance en communication écrite et orale
• Esprit d’équipe et goût du travail collaboratif

Additional Information

Pourquoi nous rejoindre

• Un impact réel, à l’échelle : des solutions IA industrialisées et utilisées par des milliers d’utilisateurs, pas des POC qui s’arrêtent au MVP
• Un spectre complet : stratégie, plateformes, engineering et gouvernance sous un même toit
• Une trajectoire qui vous appartient : pas d’up-or-out, promotions sans quota, grilles salariales transparentes, progression à votre rythme
• un environnement de travail flexible et collaboratif

Tous nos stages de fin d’études s’inscrivent dans une logique de pré-embauche.

Machine Learning · GenAI · LLM · RAG · MLOps · Python · AI Engineering · Junior Consultant

Parce que votre réussite est notre priorité, nous adaptons nos processus de recrutement et l’environnement de travail à vos besoins spécifiques ou situations de santé (aménagements de poste, tiers-temps, outils adaptés…). Cette démarche, confidentielle et fondée sur l’équité, garantit à chaque candidat·e les meilleures conditions pour exprimer son plein potentiel dès le processus de recrutement, lors de sa prise de poste et tout au long de sa carrière.