Membro do Corpo Técnico, Investigação em Programação

Sobre a Função

Título da Função: Membro do Corpo Técnico, Investigação em Programação Tipo de Função: Tempo integral Localização: Remoto

Procuramos um(a) Membro do Corpo Técnico para ajudar a fazer avançar a avaliação e o desenvolvimento de agentes de programação de ponta. Situando-se na interseção entre investigação em IA, engenharia de software e avaliação de modelos, irá desenhar os benchmarks, metodologias e sistemas de dados que moldam a forma como os modelos de programação de próxima geração são medidos e melhorados.

O Que Vai Fazer

• Desenhar e ser responsável por frameworks de avaliação para agentes de programação, incluindo especificações de benchmarks, metodologias de pontuação, rubricas e padrões de qualidade.
• Liderar iniciativas de investigação de ponta a ponta focadas em medir e melhorar o desempenho de modelos de programação em diversas tarefas de engenharia de software.
• Desenvolver conjuntos de dados de alta qualidade, exemplos de referência e protocolos de avaliação que permitam uma avaliação fiável de sistemas de programação de ponta.
• Analisar o comportamento e os modos de falha dos modelos, identificando fraquezas sistemáticas e traduzindo as conclusões em melhorias acionáveis para o treino e avaliação.
• Construir ferramentas e infraestrutura que apoiem experimentação em larga escala, geração de dados, fluxos de revisão e pipelines de avaliação.
• Estabelecer melhores práticas para avaliação de agentes de programação, garantindo rigor metodológico, reprodutibilidade e qualidade de medição.
• Colaborar de perto com investigadores, engenheiros e equipas de IA aplicada para desenhar experiências e avaliar capacidades emergentes de modelos.
• Contribuir para relatórios técnicos, estudos de benchmark e iniciativas de investigação voltadas para clientes, comunicando o desempenho e as conclusões dos modelos.

Requisitos

• Forte experiência em engenharia de software, com competências em Python, C++ ou linguagens de programação comparáveis.
• 3+ anos de experiência em engenharia de software, machine learning, investigação em IA, avaliação ou disciplinas técnicas relacionadas.
• Experiência a desenhar, rever ou validar avaliações técnicas, benchmarks, tarefas de programação ou metodologias de avaliação.
• Familiaridade com grandes modelos de linguagem, agentes de programação, aprendizagem por reforço, avaliação de modelos ou sistemas de IA relacionados.
• Capacidade comprovada de construir ferramentas, automatizar fluxos de trabalho e melhorar processos técnicos através de experimentação sistemática.
• Fortes capacidades analíticas, com capacidade de investigar o comportamento dos modelos e retirar conclusões de sistemas técnicos complexos.
• Excelentes competências de comunicação escrita e verbal, incluindo a capacidade de articular claramente conclusões técnicas para públicos diversos.
• À vontade a operar em ambientes de investigação de ritmo acelerado, com ambiguidade significativa e prioridades em evolução.

Preferencial

• Experiência a trabalhar em sistemas de IA de ponta, agentes de programação ou investigação em avaliação de modelos.
• Grande interesse em compreender como os dados, avaliações e mecanismos de feedback influenciam as capacidades dos modelos.
• Historial de conduzir de forma independente projetos técnicos ou de investigação ambíguos, da conceção à execução.
• Experiência a desenhar benchmarks ou conjuntos de dados para sistemas de machine learning em grande escala.
• Familiaridade com fluxos de trabalho agênticos, uso de ferramentas, aprendizagem por reforço ou metodologias pós-treino.
• Publicações, contributos open-source ou liderança técnica demonstrada em IA, machine learning ou engenharia de software.

Compensação e Logística

Consulte as colunas Pay Min/Max para o intervalo de remuneração horária.