# Réviseur de grilles d'évaluation d'IA (H/F)

- Platform: Mercor
- Pay: $40–$75/hour
- Location: Remote, Dans le monde entier
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/fr/jobs/ai-evaluation-rubric-reviewer

Relisez des tâches d'achat et de livraison rédigées par l'IA, leurs grilles d'évaluation et les tentatives des modèles, en corrigeant les critères injustes pour un projet d'évaluation d'agents d'IA. À distance, $40-$75/h.

## À propos du poste
Flash, qui recrute via Mercor, teste des agents d'IA sur des tâches réalistes d'achat et de livraison. En tant que réviseur de grilles d'évaluation, vous vérifiez si chaque échec enregistré est réellement juste envers le modèle, et vous corrigez la notation lorsque ce n'est pas le cas.

## Vos missions
- Relire des tâches rédigées par l'IA (prompt et grille d'évaluation) ainsi que les tentatives des modèles
- Vérifier si les informations nécessaires étaient réellement accessibles à l'agent
- Confirmer que la grille évalue bien ce que le prompt demandait réellement
- Repérer les cas où une réponse valide aurait été jugée fausse
- Vérifier que la structure de la grille respecte les consignes du projet
- Corriger les critères injustes, signaler les tâches irrécupérables et rédiger une courte note justifiant chaque décision

## Profil recherché
- Solide expérience de la rédaction ou de la relecture de grilles d'évaluation pour des évaluations de LLM (indiquez les projets dans votre candidature)
- Capacité à lire de longues transcriptions d'agents et à identifier précisément où les choses ont mal tourné
- Rédaction précise et réflexe de vérifier les données plutôt que de se fier à la réponse de référence

## Rémunération et modalités
- De $40 à $75 de l'heure
- Entièrement à distance ; aucune restriction géographique n'est indiquée

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.