# Auditor für KI-Bewertungsraster (m/w/d)

- Platform: Mercor
- Pay: $60–$85/hour
- Location: Remote, Weltweit
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/de/jobs/ai-evaluation-rubric-auditor

Prüfen Sie die Arbeit von Reviewern bei Einkaufs- und Lieferaufgaben von KI-Agenten, kontrollieren Sie, ob Verstöße gegen das Bewertungsraster fair bewertet wurden, und geben Sie den Reviewern Feedback. Remote, $60-$85/Std.

## Über die Rolle
Flash, das über Mercor einstellt, testet KI-Agenten bei realistischen Einkaufs- und Lieferaufgaben. Als Project Auditor stehen Sie über den Reviewern: Sie prüfen deren abgeschlossene Aufgaben und entscheiden, ob die von ihnen bestätigten Verstöße gegen das Bewertungsraster fair sind.

## Ihre Aufgaben
- Vollständige Aufgaben prüfen, einschließlich Prompt und Bewertungsraster
- Kontrollieren, ob die Informationen, die der Agent benötigte, verfügbar waren
- Bestätigen, dass das Raster misst, was der Prompt tatsächlich verlangt hat
- Fälle erkennen, in denen eine gültige Antwort als falsch bewertet worden wäre
- Die Struktur des Rasters anhand der Projektrichtlinien überprüfen
- Reviewern Feedback zu Problemen mit Prompt und Raster geben

## Anforderungen
- Umfangreiche Erfahrung im Erstellen oder Prüfen von Bewertungsrastern für LLM-Bewertungen (nennen Sie die Projekte in Ihrer Bewerbung)
- Erfahrung darin, Autoren oder Reviewern Feedback zu geben
- Verlässliche Verfügbarkeit
- Fähigkeit, lange Agenten-Transkripte zu lesen und zu erkennen, wo Fehler passiert sind
- Präzises Schreiben und die Gewohnheit, Daten zu überprüfen, statt der Referenzantwort zu vertrauen

## Vergütung und Rahmenbedingungen
- $60 bis $85 pro Stunde
- Vollständig remote; eine Standortbeschränkung ist nicht angegeben

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.