# Auditor di griglie di valutazione IA (M/F)

- Platform: Mercor
- Pay: $60–$85/hour
- Location: Remote, In tutto il mondo
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/it/jobs/ai-evaluation-rubric-auditor

Verifica il lavoro dei revisori su attività di acquisto e consegna svolte da agenti di IA, controllando che i fallimenti sulla griglia di valutazione siano corretti e dando feedback ai revisori. Da remoto, $60-$85/h.

## Informazioni sul ruolo
Flash, che assume tramite Mercor, sta testando agenti di IA su attività realistiche di acquisto e consegna. Come Project Auditor ti trovi un livello sopra i revisori: verifichi le attività che hanno completato e decidi se i fallimenti sulla griglia di valutazione che hanno confermato sono corretti.

## Cosa farai
- Verificare attività complete, inclusi il prompt e la griglia di valutazione
- Controllare se le informazioni di cui l'agente aveva bisogno erano disponibili
- Confermare che la griglia misuri ciò che il prompt chiedeva davvero
- Individuare i casi in cui una risposta valida sarebbe stata valutata come errata
- Verificare la struttura della griglia rispetto alle linee guida del progetto
- Dare feedback ai revisori sui problemi di prompt e griglia

## Requisiti
- Esperienza consistente nella scrittura o revisione di griglie di valutazione per valutazioni di LLM (indica i progetti nella tua candidatura)
- Esperienza nel dare feedback a redattori o revisori
- Disponibilità costante
- Capacità di leggere lunghe trascrizioni di agenti e capire dove hanno sbagliato
- Scrittura precisa e l'abitudine di verificare i dati invece di fidarti della risposta di riferimento

## Compenso e modalità
- Da $60 a $85 l'ora
- Completamente da remoto; non è indicata alcuna restrizione geografica

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.