Membre de l'équipe technique, recherche en programmation (H/F)

À propos du poste

Intitulé du poste : Membre de l'équipe technique, recherche en programmation Type de contrat : Temps plein Lieu : À distance

Nous recherchons un Member of Technical Staff pour contribuer à faire progresser l'évaluation et le développement des agents de programmation de pointe. À l'intersection de la recherche en IA, de l'ingénierie logicielle et de l'évaluation de modèles, vous concevrez les benchmarks, les méthodologies et les systèmes de données qui déterminent la manière dont les modèles de programmation de nouvelle génération sont mesurés et améliorés.

Vos missions

• Concevoir et piloter des cadres d'évaluation pour les agents de programmation, y compris des spécifications de benchmarks, des méthodologies de notation, des grilles d'évaluation et des standards de qualité.
• Diriger de bout en bout des initiatives de recherche visant à mesurer et à améliorer les performances des modèles de programmation sur des tâches variées d'ingénierie logicielle.
• Développer des jeux de données de qualité, des exemples de référence (golden examples) et des protocoles d'évaluation permettant une évaluation fiable des systèmes de programmation de pointe.
• Analyser le comportement des modèles et leurs modes de défaillance, identifier les faiblesses systématiques et traduire les résultats en améliorations concrètes pour l'entraînement et l'évaluation.
• Construire des outils et des infrastructures qui soutiennent l'expérimentation à grande échelle, la génération de données, les workflows de revue et les pipelines d'évaluation.
• Établir les bonnes pratiques d'évaluation des agents de programmation, en garantissant rigueur méthodologique, reproductibilité et qualité de mesure.
• Travailler en étroite collaboration avec les chercheurs, les ingénieurs et les équipes d'IA appliquée pour concevoir des expériences et évaluer les capacités émergentes des modèles.
• Contribuer à des rapports techniques, à des études de benchmarks et à des initiatives de recherche destinées aux clients qui communiquent les performances et les enseignements sur les modèles.

Profil recherché

• Solide formation en ingénierie logicielle, avec une expertise en Python, C++ ou dans des langages de programmation comparables.
• 3 ans et plus d'expérience en ingénierie logicielle, machine learning, recherche en IA, évaluation ou dans des disciplines techniques connexes.
• Expérience de la conception, de la relecture ou de la validation d'évaluations techniques, de benchmarks, de tâches de programmation ou de méthodologies d'évaluation.
• Connaissance des grands modèles de langage, des agents de programmation, de l'apprentissage par renforcement, de l'évaluation de modèles ou de systèmes d'IA connexes.
• Capacité éprouvée à construire des outils, à automatiser des workflows et à améliorer des processus techniques par une expérimentation systématique.
• Solides capacités d'analyse, avec l'aptitude à étudier le comportement des modèles et à tirer des enseignements de systèmes techniques complexes.
• Excellentes compétences de communication écrite et orale, y compris la capacité à présenter clairement des résultats techniques à des publics variés.
• À l'aise dans des environnements de recherche en évolution rapide, marqués par une forte ambiguïté et des priorités changeantes.

Atouts

• Expérience sur des systèmes d'IA de pointe, des agents de programmation ou la recherche en évaluation de modèles.
• Vif intérêt pour la compréhension de la façon dont les données, les évaluations et les mécanismes de retour influencent les capacités des modèles.
• Expérience avérée de pilotage autonome de projets techniques ou de recherche ambigus, de la conception à l'exécution.
• Expérience de la conception de benchmarks ou de jeux de données pour des systèmes de machine learning à grande échelle.
• Connaissance des workflows agentiques, de l'utilisation d'outils, de l'apprentissage par renforcement ou des méthodologies de post-entraînement.
• Publications, contributions open source ou leadership technique avéré en IA, en machine learning ou en ingénierie logicielle.