# AI मूल्यांकन रूब्रिक समीक्षक

- Platform: Mercor
- Pay: $40–$75/hour
- Location: Remote, दुनिया भर में
- Contract: contract
- Fields: Finance & Accounting, AI Evaluator & Trainer
- Last verified open: 2026-11-17
- Listing on SOJI (apply here): https://hiring.sojistudio.com/hi/jobs/ai-evaluation-rubric-reviewer

AI एजेंट मूल्यांकन प्रोजेक्ट के लिए AI द्वारा तैयार किए गए शॉपिंग और डिलीवरी टास्क, उनके ग्रेडिंग रूब्रिक और मॉडल के प्रयासों की समीक्षा करें और अनुचित मानदंड ठीक करें। रिमोट, $40-$75/घंटा।

## भूमिका के बारे में
Flash, Mercor के माध्यम से भर्ती करते हुए, AI एजेंट्स को वास्तविक शॉपिंग और डिलीवरी टास्क पर टेस्ट कर रहा है। रूब्रिक समीक्षक के रूप में आप जाँचते हैं कि दर्ज की गई हर विफलता मॉडल के साथ वास्तव में उचित है या नहीं, और जहाँ नहीं है वहाँ ग्रेडिंग ठीक करते हैं।

## आप क्या करेंगे
- AI द्वारा तैयार किए गए टास्क (प्रॉम्प्ट और ग्रेडिंग रूब्रिक) की मॉडल के प्रयासों के साथ समीक्षा करें
- जाँचें कि आवश्यक जानकारी वास्तव में एजेंट को उपलब्ध थी या नहीं
- पुष्टि करें कि रूब्रिक वही ग्रेड करता है जो प्रॉम्प्ट ने वास्तव में माँगा था
- ऐसे मामले पहचानें जहाँ एक मान्य उत्तर को गलत माना गया होता
- सत्यापित करें कि रूब्रिक की संरचना प्रोजेक्ट दिशानिर्देशों का पालन करती है
- अनुचित मानदंड ठीक करें, जिन टास्क को बचाया नहीं जा सकता उन्हें फ़्लैग करें और हर फ़ैसले को समझाते हुए एक छोटा नोट लिखें

## आवश्यकताएँ
- LLM मूल्यांकन के लिए रूब्रिक लिखने या समीक्षा करने का अच्छा-खासा अनुभव (अपने आवेदन में प्रोजेक्ट्स की सूची दें)
- लंबे एजेंट ट्रांसक्रिप्ट पढ़ने और यह सटीक रूप से पहचानने की क्षमता कि गड़बड़ी कहाँ हुई
- सटीक लेखन, और संदर्भ उत्तर पर भरोसा करने के बजाय डेटा जाँचने की आदत

## पारिश्रमिक और शर्तें
- $40 से $75 प्रति घंटा
- पूरी तरह रिमोट; कोई स्थान प्रतिबंध नहीं बताया गया है

Source: SOJI (hiring.sojistudio.com), an independent job board. Pay is the range shown by the platform when the role was collected; confirm on the application page.