← Voltar a todas as vagas
MercorFinanças e ContabilidadeVerificada há 12 horas

Revisor de Grelhas de Avaliação de IA

Localização: RemotoLocalizações elegíveis: Todo o mundoTipo de contrato: ContratoSalário: $40 – $75/hPublicada em: 17 de novembro de 2026
Candidatar-me →
Ver como o meu CV encaixa nesta vaga

Grátis. Vê o teu CV face a esta vaga antes de candidatares.

Pagamento

$40 – $75/h

Quem pode candidatar-se

Sem restrição de país indicada pela plataforma · verificado em 17 de novembro de 2026

Verificada

Verificámos esta vaga na plataforma há 12 horas e voltamos a verificar todos os dias.

Sobre a Função

A Flash, a contratar através da Mercor, está a testar agentes de IA em tarefas realistas de compras e entregas. Como revisor de grelhas de avaliação, verificas se cada falha registada é realmente justa para o modelo e corriges a avaliação quando não é.

O Que Vais Fazer

  • Rever tarefas redigidas por IA (prompt mais grelha de avaliação) juntamente com as tentativas dos modelos
  • Verificar se a informação necessária estava realmente disponível para o agente
  • Confirmar que a grelha avalia o que o prompt realmente pediu
  • Identificar casos em que uma resposta válida teria sido marcada como errada
  • Verificar se a estrutura da grelha segue as diretrizes do projeto
  • Corrigir critérios injustos, sinalizar tarefas que não podem ser salvas e escrever uma breve nota a explicar cada decisão

Requisitos

  • Experiência substancial a escrever ou rever grelhas de avaliação para avaliações de LLM (indica os projetos na tua candidatura)
  • Capacidade de ler transcrições longas de agentes e identificar exatamente onde as coisas correram mal
  • Escrita precisa e o hábito de verificar os dados em vez de confiar na resposta de referência

Compensação e Logística

  • $40 a $75 por hora
  • Totalmente remoto; não é indicada qualquer restrição de localização

Recebe vagas parecidas por email

Um email semanal com novas vagas como esta, filtradas por área e pagamento. Grátis, sem spam.

Vagas relacionadas

Mercor
Mercor

Auditor de Grelhas de Avaliação de IA

Audita o trabalho de revisores em tarefas de compras e entregas feitas por agentes de IA, verificando se as falhas na grelha de avaliação são justas e dando feedback aos revisores. Remoto, $60-$85/h.

Remoto · Todo o mundo·Contrato·$60 – $85/h