Evaluator für KI-Assistenten mit Gmail und Google Kalender (m/w/d)

Über die Rolle

Stellenbezeichnung: Evaluator für KI-Assistenten mit Gmail und Google Kalender
Art der Stelle: Selbstständiger Auftragnehmer, remote
Standort: Nur USA

micro1 sucht Evaluatoren für KI-Assistenten mit Gmail und Google Kalender für ein kundengetriebenes Projekt, das die Qualität von KI-Assistenten durch die Bewertung realer Aufgaben verbessert. In dieser Rolle nutzen Sie Ihre Alltagserfahrung im Umgang mit Ihrem digitalen Leben – E-Mail, Kalender, Buchungen und Abstimmung –, um KI-Assistenten der nächsten Generation zu trainieren und zu bewerten. Ihre Arbeit prägt, wie KI-Modelle die realen Aufgaben bewältigen, die Menschen täglich delegieren.

Ihre Aufgaben

• Realistische digitale Alltagsaufgaben (E-Mails schreiben, Termine planen, buchen, koordinieren) mit KI-Assistenten-Tools unter standardisierten, wiederholbaren Bedingungen erledigen.
• Einem KI-Assistenten klare Anweisungen für reale Aufgaben geben und seine Arbeit anschließend sorgfältig auf Richtigkeit und Vollständigkeit prüfen.
• Detaillierte Bewertungsrichtlinien anwenden, um Antworten des Assistenten zu bewerten, zu ranken und zu annotieren, und strukturiertes Feedback geben, das die Leistung des Modells verbessert.
• Szenarien mit E-Mail-Verläufen, Kalendereinladungen, Online-Buchungen und der Abstimmung zwischen mehreren Personen testen und dabei vielfältige Situationen und Grenzfälle abdecken.
• KI-Trainings-Tools und -Plattformen nutzen, um Erkenntnisse festzuhalten und Bewertungsdaten gemäß den Projektstandards und Meilensteinen einzureichen.
• Mit Projekt-Trainern und Mitwirkenden zusammenarbeiten, um Unklarheiten zu klären, Richtlinien zu verfeinern und die Konsistenz der Bewertungen im Team sicherzustellen.
• An laufenden Qualitätsprüfungen teilnehmen und Feedback einarbeiten, um strenge Bewertungsstandards einzuhalten.

Anforderungen

• Sie leben in den USA, besitzen ein iPhone mit iMessage und haben ein Facebook- oder Instagram-Konto.

• Tägliche, praktische Nutzung von Gmail und Google Kalender zur Organisation Ihres eigenen Lebens: E-Mails senden, Einladungen annehmen, Termine planen und Pläne umorganisieren.

• Regelmäßige Erfahrung in der Abstimmung mit anderen per E-Mail oder SMS – etwa Treffen organisieren, bei Verläufen nachfassen oder gemeinsame Pläne und Zahlungen bestätigen.

• Sicherer Umgang mit eigenständigen Online-Buchungen, etwa von Restaurants, Terminen, Reisen oder Lieferungen.

• Erfahrung im Einsatz von KI-Tools für echte, praktische Aufgaben und Routine darin, einem KI-Assistenten Anweisungen zu geben und seine Arbeit zu prüfen.

• Außergewöhnliche Sorgfalt und Genauigkeit bei der Prüfung KI-generierter Ergebnisse.

• Starke schriftliche Kommunikationsfähigkeiten für klare Berichte und zeitnahe Updates zu Fortschritten und Herausforderungen.

• Nachgewiesenes Zeitmanagement und Selbstorganisation für die eigenständige, remote Mitarbeit an Projekten.

• Frühere Erfahrung mit KI-Bewertung, Datenannotation, Nutzertests oder ähnlichen feedbackgetriebenen Projekten.

• Vertrautheit mit dem Verfassen von Prompts und praktisches Verständnis des Verhaltens und der Grenzen von KI-Assistenten.

• Erfahrung in der Bewertung oder Prüfung von KI-Ausgaben hinsichtlich Richtigkeit, Nützlichkeit und Sicherheit.