# Revisor de Rúbricas de Evaluación de IA

- Platform: Mercor
- Pay: $40–$75/hour
- Location: Remote, Todo el mundo
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/es/jobs/ai-evaluation-rubric-reviewer

Revisa tareas de compras y entregas redactadas por IA, sus rúbricas de calificación y los intentos de los modelos, corrigiendo criterios injustos en un proyecto de evaluación de agentes de IA. Remoto, $40-$75/h.

## Sobre el Puesto
Flash, que contrata a través de Mercor, está probando agentes de IA en tareas realistas de compras y entregas. Como revisor de rúbricas, compruebas si cada fallo registrado es realmente justo para el modelo y corriges la calificación cuando no lo es.

## Qué Harás
- Revisar tareas redactadas por IA (prompt más rúbrica de calificación) junto con los intentos de los modelos
- Comprobar si la información necesaria estaba realmente disponible para el agente
- Confirmar que la rúbrica califica lo que el prompt realmente pedía
- Detectar casos en los que una respuesta válida se habría marcado como incorrecta
- Verificar que la estructura de la rúbrica sigue las directrices del proyecto
- Corregir criterios injustos, señalar las tareas que no se pueden rescatar y escribir una breve nota que explique cada decisión

## Requisitos
- Amplia experiencia redactando o revisando rúbricas para evaluaciones de LLM (indica los proyectos en tu candidatura)
- Capacidad para leer transcripciones largas de agentes y localizar exactamente dónde falló algo
- Redacción precisa y la costumbre de comprobar los datos en lugar de fiarte de la respuesta de referencia

## Compensación y Logística
- De $40 a $75 por hora
- Totalmente remoto; no se indica ninguna restricción de ubicación

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.