← Torna a tutti i lavori
MercorFinanza e ContabilitàVerificato 9 ore fa

Revisore di griglie di valutazione dell'IA (M/F)

Località: Da remotoLocalità idonee: In tutto il mondoTipo di contratto: ContrattoCompenso: $40 – $75/hPubblicato: 17 novembre 2026
Candidati ora →
Check my CV for this role

Free. See how your CV fits this role before you apply.

Paga

$40 – $75/h

Chi può candidarsi

Nessuna restrizione di paese indicata dalla piattaforma · verificato il 17 novembre 2026

Verificato

Abbiamo verificato questo ruolo sulla piattaforma 9 ore fa e lo ricontrolliamo ogni giorno.

Informazioni sul ruolo

Flash, che assume tramite Mercor, sta testando agenti di IA su attività realistiche di acquisto e consegna. Come revisore di griglie di valutazione, verifichi se ogni fallimento registrato è davvero equo nei confronti del modello e correggi la valutazione quando non lo è.

Cosa farai

  • Rivedere attività redatte dall'IA (prompt più griglia di valutazione) insieme ai tentativi dei modelli
  • Verificare se le informazioni necessarie erano davvero disponibili per l'agente
  • Confermare che la griglia valuti ciò che il prompt chiedeva davvero
  • Individuare i casi in cui una risposta valida sarebbe stata segnata come sbagliata
  • Verificare che la struttura della griglia segua le linee guida del progetto
  • Correggere i criteri non equi, segnalare le attività non recuperabili e scrivere una breve nota che motivi ogni decisione

Requisiti

  • Esperienza consistente nella stesura o revisione di griglie di valutazione per valutazioni di LLM (indica i progetti nella tua candidatura)
  • Capacità di leggere lunghe trascrizioni di agenti e individuare con precisione dove qualcosa è andato storto
  • Scrittura precisa e l'abitudine di controllare i dati invece di fidarti della risposta di riferimento

Compenso e modalità

  • Da $40 a $75 l'ora
  • Interamente da remoto; non è indicata alcuna restrizione geografica

Ricevi offerte simili via email

Un'email settimanale con nuove offerte come questa, filtrate per area e compenso. Gratis, niente spam.

Ruoli correlati

Mercor
Mercor

Auditor di griglie di valutazione IA (M/F)

Verifica il lavoro dei revisori su attività di acquisto e consegna svolte da agenti di IA, controllando che i fallimenti sulla griglia di valutazione siano corretti e dando feedback ai revisori. Da remoto, $60-$85/h.

Da remoto · In tutto il mondo·Contratto·$60 – $85/h