Informazioni sul ruolo
Flash, che assume tramite Mercor, sta testando agenti di IA su attività realistiche di acquisto e consegna. Come Project Auditor ti trovi un livello sopra i revisori: verifichi le attività che hanno completato e decidi se i fallimenti sulla griglia di valutazione che hanno confermato sono corretti.
Cosa farai
- Verificare attività complete, inclusi il prompt e la griglia di valutazione
- Controllare se le informazioni di cui l'agente aveva bisogno erano disponibili
- Confermare che la griglia misuri ciò che il prompt chiedeva davvero
- Individuare i casi in cui una risposta valida sarebbe stata valutata come errata
- Verificare la struttura della griglia rispetto alle linee guida del progetto
- Dare feedback ai revisori sui problemi di prompt e griglia
Requisiti
- Esperienza consistente nella scrittura o revisione di griglie di valutazione per valutazioni di LLM (indica i progetti nella tua candidatura)
- Esperienza nel dare feedback a redattori o revisori
- Disponibilità costante
- Capacità di leggere lunghe trascrizioni di agenti e capire dove hanno sbagliato
- Scrittura precisa e l'abitudine di verificare i dati invece di fidarti della risposta di riferimento
Compenso e modalità
- Da $60 a $85 l'ora
- Completamente da remoto; non è indicata alcuna restrizione geografica
Ricevi offerte simili via email
Un'email settimanale con nuove offerte come questa, filtrate per area e compenso. Gratis, niente spam.