← Voltar a todas as vagas
MercorFinanças e ContabilidadeVerificada há 12 horas

Auditor de Grelhas de Avaliação de IA

Localização: RemotoLocalizações elegíveis: Todo o mundoTipo de contrato: ContratoSalário: $60 – $85/hPublicada em: 17 de novembro de 2026
Candidatar-me →
Ver como o meu CV encaixa nesta vaga

Grátis. Vê o teu CV face a esta vaga antes de candidatares.

Pagamento

$60 – $85/h

Quem pode candidatar-se

Sem restrição de país indicada pela plataforma · verificado em 17 de novembro de 2026

Verificada

Verificámos esta vaga na plataforma há 12 horas e voltamos a verificar todos os dias.

Sobre a Função

A Flash, que contrata através da Mercor, está a testar agentes de IA em tarefas realistas de compras e entregas. Como Auditor de Projeto, ficas acima dos revisores: auditas as tarefas que concluíram e decides se as falhas na grelha de avaliação que confirmaram são justas.

O Que Vais Fazer

  • Auditar tarefas completas, incluindo o prompt e a grelha de avaliação
  • Verificar se a informação de que o agente precisava estava disponível
  • Confirmar que a grelha mede o que o prompt realmente pedia
  • Detetar casos em que uma resposta válida teria sido avaliada como errada
  • Verificar a estrutura da grelha face às diretrizes do projeto
  • Dar feedback aos revisores sobre problemas no prompt e na grelha

Requisitos

  • Experiência substancial a escrever ou rever grelhas de avaliação para avaliações de LLM (indica os projetos na tua candidatura)
  • Experiência a dar feedback a redatores ou revisores
  • Disponibilidade consistente
  • Capacidade de ler transcrições longas de agentes e identificar onde falharam
  • Escrita precisa e o hábito de verificar os dados em vez de confiar na resposta de referência

Compensação e Logística

  • $60 a $85 por hora
  • Totalmente remoto; não é indicada nenhuma restrição de localização

Recebe vagas parecidas por email

Um email semanal com novas vagas como esta, filtradas por área e pagamento. Grátis, sem spam.

Vagas relacionadas

Mercor
Mercor

Revisor de Grelhas de Avaliação de IA

Revê tarefas de compras e entregas redigidas por IA, as suas grelhas de avaliação e as tentativas dos modelos, corrigindo critérios injustos num projeto de avaliação de agentes de IA. Remoto, $40-$75/h.

Remoto · Todo o mundo·Contrato·$40 – $75/h