Product Owner Evaluation GenAI H/F
You will lead the automated evaluation of generative AI solutions for a major banking client, defining metrics, golden datasets, and LLM-as-a-Judge approaches. Your role will shape the continuous assessment and certification product, driving functional, methodological, and economic value across the organization.
Skills required
About this role
NEXTON recrute un Product Owner Evaluation GenAI H/F, en CDI, à Paris !
Ton futur environnement de travail :
Nous recrutons pour l'un de nos grands comptes du secteur bancaire afin de participer à la construction de sa Stack Agentique Groupe. Dans ce cadre stimulant, tu rejoindras une équipe spécialisée pour porter la mise en place d'une offre d'évaluation continue et d'homologation des applications d'IA générative. Tu joueras un rôle clé en apportant une réelle valeur ajoutée sur les dimensions fonctionnelles, méthodologiques et économiques du produit.
Tes missions :
Tu cadreras et piloteras les mécanismes d’évaluation automatisée des solutions GenAI (Golden Datasets, métriques techniques et métier, tests de non-régression, approches LLM-as-a-Judge).
Tu définiras la vision du produit d'évaluation, sa roadmap, son backlog, ses cas d’usage et ses critères d’acceptation en coordination étroite avec les équipes IT.
Tu contribueras à la sélection des composants d’évaluation en confrontant les besoins utilisateurs aux contraintes techniques, de sécurité, d’exploitation et de coût.
Tu concevras les restitutions et indicateurs clés : vues détaillées pour l’ingénierie/Data Science et tableaux de bord synthétiques pour les métiers, les risques et les instances de validation.
Tu structureras l’offre de service de la plateforme d'évaluation (services proposés, modalités d'accès, niveaux de service, responsabilités et modèle de pricing).
Tu coordonneras l'ensemble des parties prenantes métiers, Data Science, IT, architecture, sécurité et conformité autour du produit.
Tu positionneras la plateforme comme un Quality Gate industrialisable, traçable et incontournable avant toute mise en production de produits IA.
Qualifications
Environ 3 à 6 ans d'expérience en tant que Product Owner technique, avec un rôle déterminant sur l'évaluation, l'homologation et la qualité de systèmes IA / GenAI.
Solide maîtrise des méthodologies et frameworks d'évaluation GenAI (Golden Datasets, métriques de performance, LLM-as-a-Judge, tests automatisés) et de leur intégration dans des chaînes CI/CD.
Maîtrise des outils de cadrage produit, de la gestion de backlog, de la construction de roadmaps et de la modélisation d'offres de service avec modèle de pricing.
Expérience dans la manipulation et l'assemblage de solutions composites (briques open source, composants externes et solutions internes).
Rigueur, excellente capacité de synthèse et aisance relationnelle pour animer un écosystème multi-expertises (Data Science, IT, Métiers, Sécurité, Conformité).
Additional Information
Pourquoi choisir NEXTON ?
Nous te proposons des avantages et des opportunités pour enrichir ton expérience professionnelle et personnelle tout au long de l'année :
▶ Des communautés dynamiques pour t'accompagner dans ton parcours.
▶ Des Meet Up pour développer tes compétences.
▶ Des formations pour te réinventer et progresser.
▶ Des événements sportifs et festifs pour t'épanouir.
▶ Un forfait mobilité durable pour faciliter ton quotidien et encourager la mobilité douce.
▶ Un téléphone de dernière génération pour rester connecté.
Prêt à nous rejoindre ? Rencontrons-nous !
NEXTON
