# Prüfer für KI-Bewertungsraster (m/w/d)

- Platform: Mercor
- Pay: $40–$75/hour
- Location: Remote, Weltweit
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/de/jobs/ai-evaluation-rubric-reviewer

Prüfen Sie von KI entworfene Einkaufs- und Lieferaufgaben, ihre Bewertungsraster und Modellversuche und korrigieren Sie unfaire Kriterien für ein Projekt zur Bewertung von KI-Agenten. Remote, $40-$75/Std.

## Über die Rolle
Flash, das über Mercor einstellt, testet KI-Agenten an realistischen Einkaufs- und Lieferaufgaben. Als Prüfer für Bewertungsraster kontrollieren Sie, ob jedes erfasste Scheitern dem Modell gegenüber tatsächlich fair ist, und korrigieren die Bewertung, wo das nicht der Fall ist.

## Ihre Aufgaben
- Von KI entworfene Aufgaben (Prompt plus Bewertungsraster) zusammen mit den Modellversuchen prüfen
- Kontrollieren, ob die benötigten Informationen dem Agenten tatsächlich zur Verfügung standen
- Bestätigen, dass das Raster bewertet, was der Prompt wirklich verlangt hat
- Fälle erkennen, in denen eine gültige Antwort als falsch markiert worden wäre
- Überprüfen, ob die Struktur des Rasters den Projektrichtlinien entspricht
- Unfaire Kriterien korrigieren, nicht zu rettende Aufgaben markieren und zu jeder Entscheidung eine kurze Begründung schreiben

## Anforderungen
- Umfangreiche Erfahrung im Erstellen oder Prüfen von Bewertungsrastern für LLM-Bewertungen (nennen Sie die Projekte in Ihrer Bewerbung)
- Fähigkeit, lange Agenten-Transkripte zu lesen und genau zu erkennen, wo etwas schiefgelaufen ist
- Präzises Schreiben und die Gewohnheit, die Daten zu prüfen, statt der Referenzantwort zu vertrauen

## Vergütung und Rahmenbedingungen
- $40 bis $75 pro Stunde
- Vollständig remote; es wird keine Standortbeschränkung angegeben

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.