← Zurück zu allen Jobs
MercorFinanzen & RechnungswesenGeprüft vor 12 Stunden

Auditor für KI-Bewertungsraster (m/w/d)

Standort: RemoteZulässige Standorte: WeltweitVertragsart: VertragVergütung: $60 – $85/hVeröffentlicht: 17. November 2026
Jetzt bewerben →
Check my CV for this role

Free. See how your CV fits this role before you apply.

Bezahlung

$60 – $85/h

Wer sich bewerben kann

Keine Länderbeschränkung von der Plattform angegeben · geprüft am 17. November 2026

Geprüft

Wir haben diese Stelle vor 12 Stunden auf der Plattform geprüft und prüfen täglich erneut.

Über die Rolle

Flash, das über Mercor einstellt, testet KI-Agenten bei realistischen Einkaufs- und Lieferaufgaben. Als Project Auditor stehen Sie über den Reviewern: Sie prüfen deren abgeschlossene Aufgaben und entscheiden, ob die von ihnen bestätigten Verstöße gegen das Bewertungsraster fair sind.

Ihre Aufgaben

  • Vollständige Aufgaben prüfen, einschließlich Prompt und Bewertungsraster
  • Kontrollieren, ob die Informationen, die der Agent benötigte, verfügbar waren
  • Bestätigen, dass das Raster misst, was der Prompt tatsächlich verlangt hat
  • Fälle erkennen, in denen eine gültige Antwort als falsch bewertet worden wäre
  • Die Struktur des Rasters anhand der Projektrichtlinien überprüfen
  • Reviewern Feedback zu Problemen mit Prompt und Raster geben

Anforderungen

  • Umfangreiche Erfahrung im Erstellen oder Prüfen von Bewertungsrastern für LLM-Bewertungen (nennen Sie die Projekte in Ihrer Bewerbung)
  • Erfahrung darin, Autoren oder Reviewern Feedback zu geben
  • Verlässliche Verfügbarkeit
  • Fähigkeit, lange Agenten-Transkripte zu lesen und zu erkennen, wo Fehler passiert sind
  • Präzises Schreiben und die Gewohnheit, Daten zu überprüfen, statt der Referenzantwort zu vertrauen

Vergütung und Rahmenbedingungen

  • $60 bis $85 pro Stunde
  • Vollständig remote; eine Standortbeschränkung ist nicht angegeben

Ähnliche Stellen per E-Mail erhalten

Eine wöchentliche E-Mail mit neuen Stellen wie dieser, gefiltert nach Bereich und Bezahlung. Kostenlos, kein Spam.

Ähnliche Rollen

Mercor
Mercor

Prüfer für KI-Bewertungsraster (m/w/d)

Prüfen Sie von KI entworfene Einkaufs- und Lieferaufgaben, ihre Bewertungsraster und Modellversuche und korrigieren Sie unfaire Kriterien für ein Projekt zur Bewertung von KI-Agenten. Remote, $40-$75/Std.

Remote · Weltweit·Vertrag·$40 – $75/h