À propos du poste
Flash, qui recrute via Mercor, teste des agents d'IA sur des tâches réalistes d'achat et de livraison. En tant que réviseur de grilles d'évaluation, vous vérifiez si chaque échec enregistré est réellement juste envers le modèle, et vous corrigez la notation lorsque ce n'est pas le cas.
Vos missions
- Relire des tâches rédigées par l'IA (prompt et grille d'évaluation) ainsi que les tentatives des modèles
- Vérifier si les informations nécessaires étaient réellement accessibles à l'agent
- Confirmer que la grille évalue bien ce que le prompt demandait réellement
- Repérer les cas où une réponse valide aurait été jugée fausse
- Vérifier que la structure de la grille respecte les consignes du projet
- Corriger les critères injustes, signaler les tâches irrécupérables et rédiger une courte note justifiant chaque décision
Profil recherché
- Solide expérience de la rédaction ou de la relecture de grilles d'évaluation pour des évaluations de LLM (indiquez les projets dans votre candidature)
- Capacité à lire de longues transcriptions d'agents et à identifier précisément où les choses ont mal tourné
- Rédaction précise et réflexe de vérifier les données plutôt que de se fier à la réponse de référence
Rémunération et modalités
- De $40 à $75 de l'heure
- Entièrement à distance ; aucune restriction géographique n'est indiquée
Recevez des offres similaires par email
Un email hebdomadaire avec de nouvelles offres comme celle-ci, filtrées par domaine et rémunération. Gratuit, sans spam.