← Zurück zu allen Jobs
MercorFinanzen & RechnungswesenGeprüft vor 12 Stunden

Prüfer für KI-Bewertungsraster (m/w/d)

Standort: RemoteZulässige Standorte: WeltweitVertragsart: VertragVergütung: $40 – $75/hVeröffentlicht: 17. November 2026
Jetzt bewerben →
Check my CV for this role

Free. See how your CV fits this role before you apply.

Bezahlung

$40 – $75/h

Wer sich bewerben kann

Keine Länderbeschränkung von der Plattform angegeben · geprüft am 17. November 2026

Geprüft

Wir haben diese Stelle vor 12 Stunden auf der Plattform geprüft und prüfen täglich erneut.

Über die Rolle

Flash, das über Mercor einstellt, testet KI-Agenten an realistischen Einkaufs- und Lieferaufgaben. Als Prüfer für Bewertungsraster kontrollieren Sie, ob jedes erfasste Scheitern dem Modell gegenüber tatsächlich fair ist, und korrigieren die Bewertung, wo das nicht der Fall ist.

Ihre Aufgaben

  • Von KI entworfene Aufgaben (Prompt plus Bewertungsraster) zusammen mit den Modellversuchen prüfen
  • Kontrollieren, ob die benötigten Informationen dem Agenten tatsächlich zur Verfügung standen
  • Bestätigen, dass das Raster bewertet, was der Prompt wirklich verlangt hat
  • Fälle erkennen, in denen eine gültige Antwort als falsch markiert worden wäre
  • Überprüfen, ob die Struktur des Rasters den Projektrichtlinien entspricht
  • Unfaire Kriterien korrigieren, nicht zu rettende Aufgaben markieren und zu jeder Entscheidung eine kurze Begründung schreiben

Anforderungen

  • Umfangreiche Erfahrung im Erstellen oder Prüfen von Bewertungsrastern für LLM-Bewertungen (nennen Sie die Projekte in Ihrer Bewerbung)
  • Fähigkeit, lange Agenten-Transkripte zu lesen und genau zu erkennen, wo etwas schiefgelaufen ist
  • Präzises Schreiben und die Gewohnheit, die Daten zu prüfen, statt der Referenzantwort zu vertrauen

Vergütung und Rahmenbedingungen

  • $40 bis $75 pro Stunde
  • Vollständig remote; es wird keine Standortbeschränkung angegeben

Ähnliche Stellen per E-Mail erhalten

Eine wöchentliche E-Mail mit neuen Stellen wie dieser, gefiltert nach Bereich und Bezahlung. Kostenlos, kein Spam.

Ähnliche Rollen

Mercor
Mercor

Auditor für KI-Bewertungsraster (m/w/d)

Prüfen Sie die Arbeit von Reviewern bei Einkaufs- und Lieferaufgaben von KI-Agenten, kontrollieren Sie, ob Verstöße gegen das Bewertungsraster fair bewertet wurden, und geben Sie den Reviewern Feedback. Remote, $60-$85/Std.

Remote · Weltweit·Vertrag·$60 – $85/h