Miembro del Personal Técnico, Investigación en Programación

Sobre el Puesto

Título del Puesto: Miembro del Personal Técnico, Investigación en Programación Tipo de Puesto: Tiempo completo Ubicación: Remoto

Buscamos un/a Miembro del Personal Técnico para ayudar a avanzar la evaluación y el desarrollo de agentes de programación de vanguardia. Situándote en la intersección entre investigación en IA, ingeniería de software y evaluación de modelos, diseñarás los benchmarks, metodologías y sistemas de datos que dan forma a cómo se miden y mejoran los modelos de programación de próxima generación.

Lo Que Harás

• Diseñar y ser responsable de marcos de evaluación para agentes de programación, incluyendo especificaciones de benchmarks, metodologías de puntuación, rúbricas y estándares de calidad.
• Liderar iniciativas de investigación de extremo a extremo centradas en medir y mejorar el rendimiento de modelos de programación en diversas tareas de ingeniería de software.
• Desarrollar conjuntos de datos de alta calidad, ejemplos de referencia y protocolos de evaluación que permitan una evaluación fiable de sistemas de programación de vanguardia.
• Analizar el comportamiento y los modos de fallo de los modelos, identificando debilidades sistemáticas y traduciendo los hallazgos en mejoras accionables para el entrenamiento y la evaluación.
• Construir herramientas e infraestructura que apoyen la experimentación a gran escala, generación de datos, flujos de revisión y pipelines de evaluación.
• Establecer mejores prácticas para la evaluación de agentes de programación, garantizando rigor metodológico, reproducibilidad y calidad de medición.
• Colaborar de cerca con investigadores, ingenieros y equipos de IA aplicada para diseñar experimentos y evaluar capacidades emergentes de los modelos.
• Contribuir a informes técnicos, estudios de benchmark e iniciativas de investigación orientadas a clientes, comunicando el rendimiento y los hallazgos de los modelos.

Requisitos

• Sólida formación en ingeniería de software, con experiencia en Python, C++ o lenguajes de programación comparables.
• 3+ años de experiencia en ingeniería de software, machine learning, investigación en IA, evaluación o disciplinas técnicas relacionadas.
• Experiencia diseñando, revisando o validando evaluaciones técnicas, benchmarks, tareas de programación o metodologías de evaluación.
• Familiaridad con grandes modelos de lenguaje, agentes de programación, aprendizaje por refuerzo, evaluación de modelos o sistemas de IA relacionados.
• Capacidad comprobada para construir herramientas, automatizar flujos de trabajo y mejorar procesos técnicos mediante experimentación sistemática.
• Sólidas habilidades analíticas, con capacidad de investigar el comportamiento de los modelos y extraer conclusiones de sistemas técnicos complejos.
• Excelentes habilidades de comunicación escrita y verbal, incluyendo la capacidad de articular claramente hallazgos técnicos para audiencias diversas.
• Comodidad operando en entornos de investigación de ritmo acelerado, con ambigüedad significativa y prioridades cambiantes.

Preferido

• Experiencia trabajando en sistemas de IA de vanguardia, agentes de programación o investigación en evaluación de modelos.
• Gran interés en comprender cómo los datos, las evaluaciones y los mecanismos de retroalimentación influyen en las capacidades de los modelos.
• Trayectoria de conducir de forma independiente proyectos técnicos o de investigación ambiguos, desde la concepción hasta la ejecución.
• Experiencia diseñando benchmarks o conjuntos de datos para sistemas de machine learning a gran escala.
• Familiaridad con flujos de trabajo agénticos, uso de herramientas, aprendizaje por refuerzo o metodologías de post-entrenamiento.
• Publicaciones, contribuciones de código abierto o liderazgo técnico demostrado en IA, machine learning o ingeniería de software.

Compensación y Logística

Consulta las columnas Pay Min/Max para el rango de tarifa por hora.