# Revisor de Grelhas de Avaliação de IA

- Platform: Mercor
- Pay: $40–$75/hour
- Location: Remote, Todo o mundo
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/pt/jobs/ai-evaluation-rubric-reviewer

Revê tarefas de compras e entregas redigidas por IA, as suas grelhas de avaliação e as tentativas dos modelos, corrigindo critérios injustos num projeto de avaliação de agentes de IA. Remoto, $40-$75/h.

## Sobre a Função
A Flash, a contratar através da Mercor, está a testar agentes de IA em tarefas realistas de compras e entregas. Como revisor de grelhas de avaliação, verificas se cada falha registada é realmente justa para o modelo e corriges a avaliação quando não é.

## O Que Vais Fazer
- Rever tarefas redigidas por IA (prompt mais grelha de avaliação) juntamente com as tentativas dos modelos
- Verificar se a informação necessária estava realmente disponível para o agente
- Confirmar que a grelha avalia o que o prompt realmente pediu
- Identificar casos em que uma resposta válida teria sido marcada como errada
- Verificar se a estrutura da grelha segue as diretrizes do projeto
- Corrigir critérios injustos, sinalizar tarefas que não podem ser salvas e escrever uma breve nota a explicar cada decisão

## Requisitos
- Experiência substancial a escrever ou rever grelhas de avaliação para avaliações de LLM (indica os projetos na tua candidatura)
- Capacidade de ler transcrições longas de agentes e identificar exatamente onde as coisas correram mal
- Escrita precisa e o hábito de verificar os dados em vez de confiar na resposta de referência

## Compensação e Logística
- $40 a $75 por hora
- Totalmente remoto; não é indicada qualquer restrição de localização

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.