← Volver a todos los empleos
MercorFinanzas y ContabilidadVerificada hace 6 horas

Revisor de Rúbricas de Evaluación de IA

Ubicación: RemotoUbicaciones elegibles: Todo el mundoTipo de contrato: ContratoSalario: $40 – $75/hPublicado: 17 de noviembre de 2026
Aplicar ahora →
Ver cómo encaja mi CV en esta oferta

Gratis. Mira tu CV frente a esta oferta antes de postularte.

Pago

$40 – $75/h

Quién puede postularse

Sin restricción de país indicada por la plataforma · comprobado el 17 de noviembre de 2026

Verificada

Verificamos esta vacante en la plataforma hace 6 horas y la revisamos cada día.

Sobre el Puesto

Flash, que contrata a través de Mercor, está probando agentes de IA en tareas realistas de compras y entregas. Como revisor de rúbricas, compruebas si cada fallo registrado es realmente justo para el modelo y corriges la calificación cuando no lo es.

Qué Harás

  • Revisar tareas redactadas por IA (prompt más rúbrica de calificación) junto con los intentos de los modelos
  • Comprobar si la información necesaria estaba realmente disponible para el agente
  • Confirmar que la rúbrica califica lo que el prompt realmente pedía
  • Detectar casos en los que una respuesta válida se habría marcado como incorrecta
  • Verificar que la estructura de la rúbrica sigue las directrices del proyecto
  • Corregir criterios injustos, señalar las tareas que no se pueden rescatar y escribir una breve nota que explique cada decisión

Requisitos

  • Amplia experiencia redactando o revisando rúbricas para evaluaciones de LLM (indica los proyectos en tu candidatura)
  • Capacidad para leer transcripciones largas de agentes y localizar exactamente dónde falló algo
  • Redacción precisa y la costumbre de comprobar los datos en lugar de fiarte de la respuesta de referencia

Compensación y Logística

  • De $40 a $75 por hora
  • Totalmente remoto; no se indica ninguna restricción de ubicación

Recibe ofertas parecidas por email

Un email semanal con nuevas ofertas como esta, filtradas por área y pago. Gratis, sin spam.

Empleos relacionados

Mercor
Mercor

Auditor de Rúbricas de Evaluación de IA

Audita el trabajo de revisores en tareas de compras y entregas realizadas por agentes de IA, comprobando que los fallos de rúbrica sean justos y dando feedback a los revisores. Remoto, $60-$85/h.

Remoto · Todo el mundo·Contrato·$60 – $85/h