Membro dello staff tecnico, ricerca sulla programmazione (M/F)

Informazioni sul ruolo

Titolo del ruolo: Membro dello staff tecnico, ricerca sulla programmazione Tipo di impiego: Tempo pieno Sede: Da remoto

Cerchiamo un Member of Technical Staff che contribuisca a far progredire la valutazione e lo sviluppo degli agenti di programmazione di frontiera. Al crocevia tra ricerca sull'IA, ingegneria del software e valutazione dei modelli, progetterai i benchmark, le metodologie e i sistemi di dati che determinano come vengono misurati e migliorati i modelli di programmazione di nuova generazione.

Cosa farai

• Progettare e gestire framework di valutazione per agenti di programmazione, comprese specifiche di benchmark, metodologie di punteggio, griglie di valutazione e standard di qualità.
• Guidare end to end iniziative di ricerca mirate a misurare e migliorare le prestazioni dei modelli di programmazione su compiti di ingegneria del software di vario tipo.
• Sviluppare dataset di alta qualità, esempi di riferimento (golden examples) e protocolli di valutazione che consentano una valutazione affidabile dei sistemi di programmazione di frontiera.
• Analizzare il comportamento dei modelli e le modalità di errore, individuando debolezze sistematiche e traducendo i risultati in miglioramenti concreti per l'addestramento e la valutazione.
• Costruire strumenti e infrastrutture a supporto della sperimentazione su larga scala, della generazione di dati, dei workflow di revisione e delle pipeline di valutazione.
• Definire le migliori pratiche per la valutazione degli agenti di programmazione, garantendo rigore metodologico, riproducibilità e qualità della misurazione.
• Collaborare a stretto contatto con ricercatori, ingegneri e team di IA applicata per progettare esperimenti e valutare le capacità emergenti dei modelli.
• Contribuire a report tecnici, studi sui benchmark e iniziative di ricerca rivolte ai clienti che comunichino prestazioni e risultati dei modelli.

Requisiti

• Solida formazione in ingegneria del software, con competenza in Python, C++ o linguaggi di programmazione comparabili.
• Almeno 3 anni di esperienza in ingegneria del software, machine learning, ricerca sull'IA, valutazione o discipline tecniche affini.
• Esperienza nella progettazione, revisione o validazione di valutazioni tecniche, benchmark, compiti di programmazione o metodologie di valutazione.
• Familiarità con grandi modelli linguistici, agenti di programmazione, apprendimento per rinforzo, valutazione dei modelli o sistemi di IA affini.
• Comprovata capacità di costruire strumenti, automatizzare workflow e migliorare i processi tecnici attraverso una sperimentazione sistematica.
• Solide capacità analitiche, con la capacità di indagare il comportamento dei modelli e ricavare spunti da sistemi tecnici complessi.
• Ottime capacità di comunicazione scritta e orale, inclusa la capacità di esporre con chiarezza i risultati tecnici a pubblici diversi.
• A proprio agio in ambienti di ricerca in rapida evoluzione, con notevole incertezza e priorità in cambiamento.

Titoli preferenziali

• Esperienza di lavoro su sistemi di IA di frontiera, agenti di programmazione o ricerca sulla valutazione dei modelli.
• Vivo interesse nel capire come dati, valutazioni e meccanismi di feedback influenzino le capacità dei modelli.
• Esperienza comprovata nel portare avanti in autonomia progetti tecnici o di ricerca ambigui, dall'ideazione all'esecuzione.
• Esperienza nella progettazione di benchmark o dataset per sistemi di machine learning su larga scala.
• Familiarità con workflow agentici, uso di strumenti, apprendimento per rinforzo o metodologie di post-training.
• Pubblicazioni, contributi open source o leadership tecnica dimostrata in IA, machine learning o ingegneria del software.