À propos du poste
Flash, qui recrute via Mercor, teste des agents d'IA sur des tâches réalistes d'achat et de livraison. En tant qu'auditeur de projet, vous intervenez au-dessus des relecteurs : vous auditez les tâches qu'ils ont terminées et décidez si les échecs sur la grille d'évaluation qu'ils ont confirmés sont justifiés.
Vos missions
- Auditer des tâches complètes, y compris le prompt et la grille d'évaluation
- Vérifier si les informations dont l'agent avait besoin étaient disponibles
- Confirmer que la grille mesure ce que le prompt demandait réellement
- Repérer les cas où une réponse valable aurait été notée comme fausse
- Vérifier la structure de la grille au regard des consignes du projet
- Faire des retours aux relecteurs sur les problèmes de prompt et de grille
Profil recherché
- Solide expérience de la rédaction ou de la relecture de grilles d'évaluation pour des évaluations de LLM (indiquez les projets dans votre candidature)
- Expérience des retours à des rédacteurs ou à des relecteurs
- Disponibilité régulière
- Capacité à lire de longues transcriptions d'agents et à identifier où ils se sont trompés
- Rédaction précise et habitude de vérifier les données plutôt que de se fier à la réponse de référence
Rémunération et modalités
- De $60 à $85 de l'heure
- Entièrement à distance ; aucune restriction géographique n'est indiquée
Recevez des offres similaires par email
Un email hebdomadaire avec de nouvelles offres comme celle-ci, filtrées par domaine et rémunération. Gratuit, sans spam.