Informazioni sul ruolo
Flash, che assume tramite Mercor, sta testando agenti di IA su attività realistiche di acquisto e consegna. Come revisore di griglie di valutazione, verifichi se ogni fallimento registrato è davvero equo nei confronti del modello e correggi la valutazione quando non lo è.
Cosa farai
- Rivedere attività redatte dall'IA (prompt più griglia di valutazione) insieme ai tentativi dei modelli
- Verificare se le informazioni necessarie erano davvero disponibili per l'agente
- Confermare che la griglia valuti ciò che il prompt chiedeva davvero
- Individuare i casi in cui una risposta valida sarebbe stata segnata come sbagliata
- Verificare che la struttura della griglia segua le linee guida del progetto
- Correggere i criteri non equi, segnalare le attività non recuperabili e scrivere una breve nota che motivi ogni decisione
Requisiti
- Esperienza consistente nella stesura o revisione di griglie di valutazione per valutazioni di LLM (indica i progetti nella tua candidatura)
- Capacità di leggere lunghe trascrizioni di agenti e individuare con precisione dove qualcosa è andato storto
- Scrittura precisa e l'abitudine di controllare i dati invece di fidarti della risposta di riferimento
Compenso e modalità
- Da $40 a $75 l'ora
- Interamente da remoto; non è indicata alcuna restrizione geografica
Ricevi offerte simili via email
Un'email settimanale con nuove offerte come questa, filtrate per area e compenso. Gratis, niente spam.