# Auditor de Rúbricas de Evaluación de IA

- Platform: Mercor
- Pay: $60–$85/hour
- Location: Remote, Todo el mundo
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/es/jobs/ai-evaluation-rubric-auditor

Audita el trabajo de revisores en tareas de compras y entregas realizadas por agentes de IA, comprobando que los fallos de rúbrica sean justos y dando feedback a los revisores. Remoto, $60-$85/h.

## Sobre el Puesto
Flash, que contrata a través de Mercor, está probando agentes de IA en tareas realistas de compras y entregas. Como Auditor de Proyecto, estás por encima de los revisores: auditas las tareas que han completado y decides si los fallos de rúbrica que confirmaron son justos.

## Qué Harás
- Auditar tareas completas, incluidos el prompt y la rúbrica de calificación
- Comprobar si la información que necesitaba el agente estaba disponible
- Confirmar que la rúbrica mide lo que el prompt pedía realmente
- Detectar casos en los que una respuesta válida se habría calificado como incorrecta
- Verificar la estructura de la rúbrica según las directrices del proyecto
- Dar feedback a los revisores sobre problemas en el prompt y en la rúbrica

## Requisitos
- Experiencia sustancial redactando o revisando rúbricas para evaluaciones de LLM (indica los proyectos en tu candidatura)
- Experiencia dando feedback a redactores o revisores
- Disponibilidad constante
- Capacidad para leer transcripciones largas de agentes y encontrar dónde se equivocaron
- Redacción precisa y el hábito de verificar los datos en lugar de fiarte de la respuesta de referencia

## Compensación y Logística
- De $60 a $85 por hora
- Totalmente remoto; no se indica ninguna restricción de ubicación

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.