1PL आइटम रिस्पॉन्स थ्योरी के द्वारा मानकीकृत टेस्ट में छात्र के स्कोर का पूर्वानुमान

Embibe में, हम लर्निंग थ्योरी और एजुकेशन रिसर्च की सहायता से इनसाइट और मॉडल को शामिल करके, छात्रों को मानकीकृत टेस्ट में उनके स्कोर को बेहतर बनाने में मदद करते हैं।

आइटम रिस्पॉन्स थ्योरी^{[1, 2]} नामक एक ऐसा व्यापक रूप से इस्तेमाल किया जाने वाला मॉडल, छात्र के कौशल या क्षमता स्तर के साथ-साथ प्रयास किए जा रहे प्रश्न के कठिनाई स्तर का अनुमान लगाकर किसी प्रश्न का सही उत्तर देने की संभावना का पूर्वानुमान लगाने में मदद करता है। इसे पहली बार 1960 के दशक में प्रस्तावित किया गया था और इसके कई रूप आज भी उपस्थित हैं, जैसे कि 1PL मॉडल^{[2, 3]} और 2PL मॉडल^[2]।

आइटम रिस्पॉन्स थ्योरी का 1PL मॉडल

1PL या 1 पैरामीटर आइटम रिस्पॉन्स थ्योरी मॉडल, जिसे रैश मॉडल^{[ 3]} के रूप में भी जाना जाता है, को निम्नानुसार वर्णित किया गया है –

मान लीजिए कि i एक लर्नर या छात्र है और j एक प्रश्न है, θi लर्नर की क्षमता है और βj प्रश्न का कठिनाई स्तर है। तब, 1PL मॉडल के अनुसार, i लर्नर के द्वारा j प्रश्न का सही उत्तर देने की प्रायिकता को logit(Pij) = i – j के रूप में दिया जाता है, जहाँ logit फंक्शन logit(x) =(1+(-x))-1 द्वारा दिया जाता है।

1PL आइटम रिस्पॉन्स थ्योरी मॉडल का उपयोग करके, हम प्रत्येक प्रयास किए गए प्रश्न के लिए लर्नर के रिस्पॉन्स डाटा को देखते हुए, उसके क्षमता स्तर θi का अनुमान लगा सकते हैं।

1PL आइटम रिस्पॉन्स थ्योरी के लिए एक डीप लर्निंग आर्किटेक्चर

हम देख सकते हैं कि 1PL मॉडल वास्तव में एक डोमेन-विशिष्ट मानकीकरण के साथ लॉजिस्टिक रिग्रेशन है। फलस्वरूप, हम किसी भी डीप लर्निंग आर्किटेक्चर का उपयोग करके ऐसे मॉडल को समझ सकते हैं। 1PL मॉडल के लिए डीप लर्निंग आर्किटेक्चर को चित्र – 1 में दर्शाया गया है।

**चित्र – 1 : 1PL IRT मॉडल पैरामीटर के आकलन के लिए न्यूरल नेटवर्क आर्किटेक्चर**

हमारा मॉडल केरस^[4] में एक डीप न्यूरल नेटवर्क के रूप में लागू किया गया है। प्रश्न को एक न्यूरल नेटवर्क के रूप में मॉडलिंग करने के लाभ हैं :

इनपुट में अनुपस्थित मानों को हैंडल करने की क्षमता — प्रत्येक यूजर को प्रत्येक प्रश्न को हल करने की आवश्यकता नहीं होती है
बड़ी संख्या में यूजर और आइटम को स्केल करने की क्षमता
अधिक पैरामीटर के साथ 2PL, 3PL और अन्य आइटम रिस्पॉन्स थ्योरी मॉडल के लिए फ्रेमवर्क का विस्तार करने की क्षमता

हम इस मॉडल को 1PL डीप आइटम रिस्पॉन्स थ्योरी मॉडल के रूप में संदर्भित करते हैं।

वैलिडेशन

मॉडलिंग रणनीति को बेंचमार्क और वैलिडेट करने के लिए, हम निम्नानुसार सिम्युलेटेड डाटा तैयार करते हैं:

i N(0,1) : माध्य 0 और मानक विचलन 1 के साथ सामान्य वितरण का उपयोग करके लर्निंग क्षमता जनरेट की जाती है
j U(-1,1) : प्रश्न कठिनाई मान -1 और 1 के बीच समान रूप से निकाला जाता है
Pij= i – j : यूजर की क्षमता और आइटम कठिनाई का उपयोग करके सही रिस्पॉन्स की प्रायिकता की गणना (1PL आइटम रिस्पॉन्स थ्योरी समीकरण का उपयोग करके) की जाती है
yijk Bern(Pij) : सक्सेस प्रायिकता के साथ बर्नौली वितरण से बाइनरी रिस्पॉन्स (सही, गलत) का सैंपल लिया जाता है
सक्सेस प्रायिकता के साथ बर्नौली वितरण से बाइनरी रिस्पॉन्स (सही, गलत) लिए जाते हैं, जहां प्रति लर्नर प्रति आइटम रिस्पॉन्स की संख्या कॉन्फ़िगरेब्ल है।

हमने 100 प्रश्न, 100 लर्नर और प्रति लर्नर प्रति प्रश्न एक रिस्पॉन्स सिम्युलेट किया है।

हम सिम्युलेटेड डाटासेट के लिए 1PL डीप आइटम रिस्पॉन्स थ्योरी मॉडल फिट करते हैं। न्यूरल नेटवर्क के इनपुट यूजर वेक्टर (एक-हॉट एन्कोडेड) और प्रश्न वेक्टर (एक-हॉट एन्कोडेड) हैं और आउटपुट आइटम रिस्पॉन्स थ्योरी मॉडल के पैरामीटर हैं, जिसमें आइटम कठिनाई, लर्नर क्षमता और पूर्वानुमान शामिल है कि क्या लर्नर सही उत्तर देगा या नहीं। न्यूरल नेटवर्क पूरी तरह से जुड़ा हुआ है। इसमें दो इनपुट लेयर हैं, कठिनाई और क्षमता के लिए इंटरमीडिएट लेयर और पूर्वानुमान के लिए एक आउटपुट लेयर।

हम न्यूरल नेटवर्क से 1PL डीप आइटम रिस्पॉन्स थ्योरी आउटपुट की तुलना सिम्युलेटेड डाटा से सही आउटपुट के साथ करते हैं।

इम्प्लीमेंटेशन

मॉडल: 1PL आइटम रिस्पॉन्स थ्योरी के आर्किटेक्टर को केरस फंक्शनल API का उपयोग करते हुए NN की संरचना का उपयोग करके परिभाषित किया गया है। समग्र मॉडल सघन लेयर को स्टैक करके संरचित किया गया है – यहां, 1PL मॉडल के लिए 2 सघन लेयर हैं, जिसमें से प्रत्येक किसी यूजर या आइटम पैरामीटर का रिप्रेजेन्टेटिव है, जो किसी आइटम (j) पर प्रतिक्रिया देने वाले यूजर (i) की संभावना (Pij) को ड्राइव करने में महत्वपूर्ण होता है।

हाइपर पैरामीटर: प्रत्येक सघन लेयर में निम्नलिखित डिफ़ॉल्ट सेटिंग्स का उपयोग किया जाता है-

कर्नेल और बायस इनीशिएलाइजर : नॉर्मल (0,1)
l1/l2 रेग्युलराइजेशन : l_1=0, l_2=0
एक्टिविटी रेग्युलराइज़र : l_1=0, l_2=0

उपरोक्त सेटिंग्स को एक डेवलपर द्वारा ओवरराइड किया जा सकता है या कॉन्फ़िगरेशन के स्थान पर सर्च करके सर्वोत्तम कॉन्फ़िगरेशन प्राप्त किया जा सकता है। इस तरह की जानकारी आगामी ब्लॉग में जाएगी। परिभाषित मॉडल दो या तीन पैरामीटर के लिए इसके उपयोग का विस्तार करने के लिए पर्याप्त रूप से फ्लेक्सिबल है, अर्थात डिक्रिमिनेशन और गेसेबिलिटी, और इसके परिणामस्वरूप, रेट्रोस्पेक्ट में, न्यूरल आर्किटेक्चर सर्च क्षमता के साथ एक विस्तारित मॉडल 1 या 2PL मॉडल के रूप में प्रदर्शन कर सकता है।

प्रयोगात्मक परिणाम

दिए गए ग्राफ निम्नलिखित संबंध दर्शाते हैं:

पियर्सन सहसंबंध गुणांक 0.9857 के साथ, अनुमानित कठिनाई बनाम वास्तविक कठिनाई स्तर
पियर्सन सहसंबंध गुणांक 0.9954 के साथ, अनुमानित क्षमता बनाम वास्तविक क्षमता स्तर,
पियर्सन सहसंबंध गुणांक 0.9926 के साथ, प्रत्येक प्रश्न का सही उत्तर देने की अनुमानित प्रायिकता बनाम वास्तविक प्रायिकता

1PL डेटा पर प्रशिक्षित डीप आइटम रिस्पॉन्स थ्योरी मॉडल से, 1PL DIRT मॉडल की log संभावना 0.587 है।

जैसा कि हम देख सकते हैं, हमें तीनों परिस्थितियों में एक अच्छा सहसंबंध मिलता है, जो दर्शाता है कि हमारा 1PL डीप आइटम रिस्पॉन्स थ्योरी मॉडल सटीकता के साथ कठिनाई, क्षमता और टेस्ट स्कोर का पूर्वानुमान लगाने में सफल है।

चित्र – 2 : वास्तविक बनाम व्युत्पन्न केरस मॉडल कठिनाई और क्षमता पैरामीटर का स्कैटरप्लॉट

चित्र – 3 : हमारे प्रशिक्षित केरस मॉडल से प्राप्त प्रायिकता बनाम प्रश्नों के सही उत्तर देने की वास्तविक प्रायिकता का हेक्सबिन प्लॉट

निष्कर्ष

हमने देखा कि, सिम्युलेशन के आधार पर, 1PL आइटम रिस्पॉन्स थ्योरी मॉडल को डीप लर्निंग मॉडल के माध्यम से लागू किया जा सकता है। आइटम रिस्पॉन्स थ्योरी पैरामीटर का उपयोग करके, हम अपने 1PL आइटम रिस्पॉन्स थ्योरी आधारित मॉडल के द्वारा लर्निंग क्षमता और प्रश्नों के कठिनाई स्तर का सटीक अनुमान प्राप्त कर सकते हैं। इन अनुमानों का उपयोग ऐडैप्टिव टेस्ट जनरेट करने, लक्ष्य निर्धारित करने और अन्य डाउनस्ट्रीम समस्यायों में किया जा सकता है।

संदर्भ:

Frank B. Baker. “The basics of item response theory.” ERIC, USA, 2001
Wikipedia. Item Response Theory https://en.wikipedia.org/wiki/Item_response_theory
Georg Rasch. “Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests.” 1960.
Keras Deep Learning framework: Keras

1PL आइटम रिस्पॉन्स थ्योरी के द्वारा मानकीकृत टेस्ट में छात्र के स्कोर का पूर्वानुमान