# AI मूल्यांकन रूब्रिक ऑडिटर

- Platform: Mercor
- Pay: $60–$85/hour
- Location: Remote, दुनिया भर में
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/hi/jobs/ai-evaluation-rubric-auditor

AI एजेंट के शॉपिंग और डिलीवरी टास्क पर रिव्यूअर्स के काम का ऑडिट करें, जाँचें कि रूब्रिक विफलताएँ उचित हैं और रिव्यूअर्स को फ़ीडबैक दें। रिमोट, $60-$85/घंटा।

## भूमिका के बारे में
Flash, Mercor के माध्यम से भर्ती करते हुए, यथार्थवादी शॉपिंग और डिलीवरी टास्क पर AI एजेंटों का परीक्षण कर रहा है। प्रोजेक्ट ऑडिटर के रूप में आप रिव्यूअर्स से ऊपर होते हैं: आप उनके पूरे किए गए टास्क का ऑडिट करते हैं और तय करते हैं कि उन्होंने जिन रूब्रिक विफलताओं की पुष्टि की है, वे उचित हैं या नहीं।

## आप क्या करेंगे
- प्रॉम्प्ट और ग्रेडिंग मूल्यांकन रूब्रिक सहित पूरे टास्क का ऑडिट करना
- जाँचना कि एजेंट को जिस जानकारी की ज़रूरत थी, वह उपलब्ध थी या नहीं
- पुष्टि करना कि मूल्यांकन रूब्रिक वही मापता है जो प्रॉम्प्ट ने वास्तव में पूछा था
- ऐसे मामले पकड़ना जहाँ किसी सही उत्तर को गलत ग्रेड किया गया होता
- प्रोजेक्ट दिशानिर्देशों के अनुसार मूल्यांकन रूब्रिक की संरचना की जाँच करना
- रिव्यूअर्स को प्रॉम्प्ट और मूल्यांकन रूब्रिक की समस्याओं पर फ़ीडबैक देना

## आवश्यकताएँ
- LLM मूल्यांकन के लिए मूल्यांकन रूब्रिक लिखने या रिव्यू करने का अच्छा-ख़ासा अनुभव (अपने आवेदन में प्रोजेक्ट्स की सूची दें)
- लेखकों या रिव्यूअर्स को फ़ीडबैक देने का अनुभव
- नियमित उपलब्धता
- लंबे एजेंट ट्रांसक्रिप्ट पढ़ने और यह पता लगाने की क्षमता कि वे कहाँ गलत हुए
- सटीक लेखन और संदर्भ उत्तर पर भरोसा करने के बजाय डेटा की जाँच करने की आदत

## पारिश्रमिक और शर्तें
- $60 से $85 प्रति घंटा
- पूरी तरह रिमोट; किसी स्थान प्रतिबंध का उल्लेख नहीं है

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.