Über die Rolle
Flash, das über Mercor einstellt, testet KI-Agenten an realistischen Einkaufs- und Lieferaufgaben. Als Prüfer für Bewertungsraster kontrollieren Sie, ob jedes erfasste Scheitern dem Modell gegenüber tatsächlich fair ist, und korrigieren die Bewertung, wo das nicht der Fall ist.
Ihre Aufgaben
- Von KI entworfene Aufgaben (Prompt plus Bewertungsraster) zusammen mit den Modellversuchen prüfen
- Kontrollieren, ob die benötigten Informationen dem Agenten tatsächlich zur Verfügung standen
- Bestätigen, dass das Raster bewertet, was der Prompt wirklich verlangt hat
- Fälle erkennen, in denen eine gültige Antwort als falsch markiert worden wäre
- Überprüfen, ob die Struktur des Rasters den Projektrichtlinien entspricht
- Unfaire Kriterien korrigieren, nicht zu rettende Aufgaben markieren und zu jeder Entscheidung eine kurze Begründung schreiben
Anforderungen
- Umfangreiche Erfahrung im Erstellen oder Prüfen von Bewertungsrastern für LLM-Bewertungen (nennen Sie die Projekte in Ihrer Bewerbung)
- Fähigkeit, lange Agenten-Transkripte zu lesen und genau zu erkennen, wo etwas schiefgelaufen ist
- Präzises Schreiben und die Gewohnheit, die Daten zu prüfen, statt der Referenzantwort zu vertrauen
Vergütung und Rahmenbedingungen
- $40 bis $75 pro Stunde
- Vollständig remote; es wird keine Standortbeschränkung angegeben
Ähnliche Stellen per E-Mail erhalten
Eine wöchentliche E-Mail mit neuen Stellen wie dieser, gefiltert nach Bereich und Bezahlung. Kostenlos, kein Spam.