Sobre el Puesto
Flash, que contrata a través de Mercor, está probando agentes de IA en tareas realistas de compras y entregas. Como Auditor de Proyecto, estás por encima de los revisores: auditas las tareas que han completado y decides si los fallos de rúbrica que confirmaron son justos.
Qué Harás
- Auditar tareas completas, incluidos el prompt y la rúbrica de calificación
- Comprobar si la información que necesitaba el agente estaba disponible
- Confirmar que la rúbrica mide lo que el prompt pedía realmente
- Detectar casos en los que una respuesta válida se habría calificado como incorrecta
- Verificar la estructura de la rúbrica según las directrices del proyecto
- Dar feedback a los revisores sobre problemas en el prompt y en la rúbrica
Requisitos
- Experiencia sustancial redactando o revisando rúbricas para evaluaciones de LLM (indica los proyectos en tu candidatura)
- Experiencia dando feedback a redactores o revisores
- Disponibilidad constante
- Capacidad para leer transcripciones largas de agentes y encontrar dónde se equivocaron
- Redacción precisa y el hábito de verificar los datos en lugar de fiarte de la respuesta de referencia
Compensación y Logística
- De $60 a $85 por hora
- Totalmente remoto; no se indica ninguna restricción de ubicación