← Torna a tutti i lavori
MercorFinanza e ContabilitàVerificato 9 ore fa

Auditor di griglie di valutazione IA (M/F)

Località: Da remotoLocalità idonee: In tutto il mondoTipo di contratto: ContrattoCompenso: $60 – $85/hPubblicato: 17 novembre 2026
Candidati ora →
Check my CV for this role

Free. See how your CV fits this role before you apply.

Paga

$60 – $85/h

Chi può candidarsi

Nessuna restrizione di paese indicata dalla piattaforma · verificato il 17 novembre 2026

Verificato

Abbiamo verificato questo ruolo sulla piattaforma 9 ore fa e lo ricontrolliamo ogni giorno.

Informazioni sul ruolo

Flash, che assume tramite Mercor, sta testando agenti di IA su attività realistiche di acquisto e consegna. Come Project Auditor ti trovi un livello sopra i revisori: verifichi le attività che hanno completato e decidi se i fallimenti sulla griglia di valutazione che hanno confermato sono corretti.

Cosa farai

  • Verificare attività complete, inclusi il prompt e la griglia di valutazione
  • Controllare se le informazioni di cui l'agente aveva bisogno erano disponibili
  • Confermare che la griglia misuri ciò che il prompt chiedeva davvero
  • Individuare i casi in cui una risposta valida sarebbe stata valutata come errata
  • Verificare la struttura della griglia rispetto alle linee guida del progetto
  • Dare feedback ai revisori sui problemi di prompt e griglia

Requisiti

  • Esperienza consistente nella scrittura o revisione di griglie di valutazione per valutazioni di LLM (indica i progetti nella tua candidatura)
  • Esperienza nel dare feedback a redattori o revisori
  • Disponibilità costante
  • Capacità di leggere lunghe trascrizioni di agenti e capire dove hanno sbagliato
  • Scrittura precisa e l'abitudine di verificare i dati invece di fidarti della risposta di riferimento

Compenso e modalità

  • Da $60 a $85 l'ora
  • Completamente da remoto; non è indicata alcuna restrizione geografica

Ricevi offerte simili via email

Un'email settimanale con nuove offerte come questa, filtrate per area e compenso. Gratis, niente spam.

Ruoli correlati

Mercor
Mercor

Revisore di griglie di valutazione dell'IA (M/F)

Rivedi attività di acquisto e consegna redatte dall'IA, le relative griglie di valutazione e i tentativi dei modelli, correggendo i criteri non equi in un progetto di valutazione di agenti di IA. Da remoto, $40-$75/h.

Da remoto · In tutto il mondo·Contratto·$40 – $75/h