# Auditor de Grelhas de Avaliação de IA

- Platform: Mercor
- Pay: $60–$85/hour
- Location: Remote, Todo o mundo
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/pt/jobs/ai-evaluation-rubric-auditor

Audita o trabalho de revisores em tarefas de compras e entregas feitas por agentes de IA, verificando se as falhas na grelha de avaliação são justas e dando feedback aos revisores. Remoto, $60-$85/h.

## Sobre a Função
A Flash, que contrata através da Mercor, está a testar agentes de IA em tarefas realistas de compras e entregas. Como Auditor de Projeto, ficas acima dos revisores: auditas as tarefas que concluíram e decides se as falhas na grelha de avaliação que confirmaram são justas.

## O Que Vais Fazer
- Auditar tarefas completas, incluindo o prompt e a grelha de avaliação
- Verificar se a informação de que o agente precisava estava disponível
- Confirmar que a grelha mede o que o prompt realmente pedia
- Detetar casos em que uma resposta válida teria sido avaliada como errada
- Verificar a estrutura da grelha face às diretrizes do projeto
- Dar feedback aos revisores sobre problemas no prompt e na grelha

## Requisitos
- Experiência substancial a escrever ou rever grelhas de avaliação para avaliações de LLM (indica os projetos na tua candidatura)
- Experiência a dar feedback a redatores ou revisores
- Disponibilidade consistente
- Capacidade de ler transcrições longas de agentes e identificar onde falharam
- Escrita precisa e o hábito de verificar os dados em vez de confiar na resposta de referência

## Compensação e Logística
- $60 a $85 por hora
- Totalmente remoto; não é indicada nenhuma restrição de localização

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.