# Revisore di griglie di valutazione dell'IA (M/F)

- Platform: Mercor
- Pay: $40–$75/hour
- Location: Remote, In tutto il mondo
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/it/jobs/ai-evaluation-rubric-reviewer

Rivedi attività di acquisto e consegna redatte dall'IA, le relative griglie di valutazione e i tentativi dei modelli, correggendo i criteri non equi in un progetto di valutazione di agenti di IA. Da remoto, $40-$75/h.

## Informazioni sul ruolo
Flash, che assume tramite Mercor, sta testando agenti di IA su attività realistiche di acquisto e consegna. Come revisore di griglie di valutazione, verifichi se ogni fallimento registrato è davvero equo nei confronti del modello e correggi la valutazione quando non lo è.

## Cosa farai
- Rivedere attività redatte dall'IA (prompt più griglia di valutazione) insieme ai tentativi dei modelli
- Verificare se le informazioni necessarie erano davvero disponibili per l'agente
- Confermare che la griglia valuti ciò che il prompt chiedeva davvero
- Individuare i casi in cui una risposta valida sarebbe stata segnata come sbagliata
- Verificare che la struttura della griglia segua le linee guida del progetto
- Correggere i criteri non equi, segnalare le attività non recuperabili e scrivere una breve nota che motivi ogni decisione

## Requisiti
- Esperienza consistente nella stesura o revisione di griglie di valutazione per valutazioni di LLM (indica i progetti nella tua candidatura)
- Capacità di leggere lunghe trascrizioni di agenti e individuare con precisione dove qualcosa è andato storto
- Scrittura precisa e l'abitudine di controllare i dati invece di fidarti della risposta di riferimento

## Compenso e modalità
- Da $40 a $75 l'ora
- Interamente da remoto; non è indicata alcuna restrizione geografica

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.