← Volver a todos los empleos
MercorFinanzas y ContabilidadVerificada hace 10 horas

Auditor de Rúbricas de Evaluación de IA

Ubicación: RemotoUbicaciones elegibles: Todo el mundoTipo de contrato: ContratoSalario: $60 – $85/hPublicado: 17 de noviembre de 2026
Aplicar ahora →
Ver cómo encaja mi CV en esta oferta

Gratis. Mira tu CV frente a esta oferta antes de postularte.

Pago

$60 – $85/h

Quién puede postularse

Sin restricción de país indicada por la plataforma · comprobado el 17 de noviembre de 2026

Verificada

Verificamos esta vacante en la plataforma hace 10 horas y la revisamos cada día.

Sobre el Puesto

Flash, que contrata a través de Mercor, está probando agentes de IA en tareas realistas de compras y entregas. Como Auditor de Proyecto, estás por encima de los revisores: auditas las tareas que han completado y decides si los fallos de rúbrica que confirmaron son justos.

Qué Harás

  • Auditar tareas completas, incluidos el prompt y la rúbrica de calificación
  • Comprobar si la información que necesitaba el agente estaba disponible
  • Confirmar que la rúbrica mide lo que el prompt pedía realmente
  • Detectar casos en los que una respuesta válida se habría calificado como incorrecta
  • Verificar la estructura de la rúbrica según las directrices del proyecto
  • Dar feedback a los revisores sobre problemas en el prompt y en la rúbrica

Requisitos

  • Experiencia sustancial redactando o revisando rúbricas para evaluaciones de LLM (indica los proyectos en tu candidatura)
  • Experiencia dando feedback a redactores o revisores
  • Disponibilidad constante
  • Capacidad para leer transcripciones largas de agentes y encontrar dónde se equivocaron
  • Redacción precisa y el hábito de verificar los datos en lugar de fiarte de la respuesta de referencia

Compensación y Logística

  • De $60 a $85 por hora
  • Totalmente remoto; no se indica ninguna restricción de ubicación

Recibe ofertas parecidas por email

Un email semanal con nuevas ofertas como esta, filtradas por área y pago. Gratis, sin spam.

Empleos relacionados

Mercor
Mercor

Revisor de Rúbricas de Evaluación de IA

Revisa tareas de compras y entregas redactadas por IA, sus rúbricas de calificación y los intentos de los modelos, corrigiendo criterios injustos en un proyecto de evaluación de agentes de IA. Remoto, $40-$75/h.

Remoto · Todo el mundo·Contrato·$40 – $75/h