मुक्त मजकूर उत्तर आधारित प्रश्नांचे स्वयंचलित मूल्यांकन

मुक्त मजकूर उत्तर आधारित प्रश्नांचे स्वयंचलित मूल्यांकन

अनेक स्पर्धात्मक परीक्षांमध्ये सहभागीना वस्तुनिष्ठ प्रश्न सोडवावे लागतात, जसे की असे प्रश्न ज्यांना एक किंवा अधिक योग्य उत्तरे दिलेल्या पर्यायांमधून निवडावे लागतात किंवा असे प्रश्न ज्यांच्यासाठी सहभागींना संख्यात्मक उत्तर द्यावे लागते. वस्तुनिष्ठ प्रकारच्या प्रश्नांवर आधारित टेस्टचे मूल्यांकन तसे सरळ असते.

असे असले तरी, अनेक परीक्षा अशा आहेत जसे की बोर्ड परीक्षा, ज्यांच्यामध्ये मुक्त मजकुराचे प्रश्न अंतर्भूत असतात. मुक्त मजकुराच्या उत्तरांचे मूल्यांकन हा अजूनही उघड संशोधन समस्या आहे काही यशस्वी उपयांसाह जे निबंध गुणांविषयी लक्षित आहेत. Embibe हा AI प्लॅटफॉर्म आहे जो मोठ्या प्रमाणावर शैक्षणिक परिणाम देतो[7], आणि अशी क्षमता मुक्त मजकूर उत्तरांवर आधारित प्रश्न असलेल्या पर्सनलाइज्ड टेस्ट स्वयंचलितपणे तयार करण्यासाठी आणि संदर्भित ज्ञान आलेख संदर्भात विद्यार्थ्यांच्या कॉन्सेप्टवरील प्रभुत्व मोजण्यात मदत करतो[6][8]. सामान्य मूल्यांकन कर्ता विकसित करणे जो विविध शैलीची मुक्त मजकूर उत्तरे विविध शैक्षणिक विषया दरम्यान मिळवू शकतो त्याला प्रगत NLP/NLU वापराची गरज असते आणि हे Embibeच्या आवडीचे क्षेत्र आहे.  

आपण समस्या दोन प्रमुख उप-समस्यांमध्ये विभागू शकतो.

  1. बाब जोडणे 
  2. सिमॅंटिक समरूपता

बाब जोडणे

बाब जोडण्यामध्ये, आपण लघुरूपे/संक्षेप आणि एकेए (असे सुद्धा ओळखले जाते) प्रकारच्या बाबी अंतर्भूत करून घेऊ शकतो. उदाहरणार्थ, लघुरूपे जसे की 

“PMC “: “pollen mother cell”,

“MMC “: “megaspore mother cell”,

“PEN”: “primary endosperm nucleus”,

“PEC”: “primary endosperm cell”,

“LH “: “luteinizing hormone”,

“FSH “: “follicle stimulating hormone”

आणि खालीलप्रमाणे देखील ओळखले जाते

“mushroom”: “toadstool”,

“germs”: “microbes”,

“bacteria”: “microbes”,

“yeast”: “microbes”,

“renewable”: “inexhaustible”,

“traits”: “characteristics”,

आपण रासायनिक नवे सुद्धा मॅप करू शकतो जसे की,

‘(NH4)(NO3)’ : ‘Ammonium nitrate’,

‘(NH4)(NO3)’ :

‘(NH4)2C2O4’ : ‘Ammonium oxalate’,

‘(NH4)2C2O4’ :

‘Ag2O’ : ‘Silver oxide’,

‘Ag2O’ : 

‘Ag2SO4’ : ‘Silver sulfate’,

‘Ag2SO4’ : 

‘Al(NO3)3’ : ‘Aluminium nitrate’,

‘Al(NO3)3’ : 

ही मॅपिंग्ज वापरुन, आपण लघुरूपे आणि तत्सम शब्द मॅप करू शकतो आणि त्यानंतर त्यांना वास्तविक उत्तरा सोबत जोडू शकतो.

सिमॅंटिक समरूपता

दोन वाक्यांचा एकच अर्थ होऊ शकतो. आपण सिमॅंटिक समरूपता निर्माण करू शकतो विषयानुरूप ज्ञान वापरुन आणि आमच्या नॅचरल लँग्वेज अंडरस्टँडिंग च्या स्टेट ऑफ आर्ट संशोधन आणि ज्ञान अंतर्भूत शिकवण वापरुन लँग्वेज मॉडेल शक्यता संदर्भित करून.

आपण विद्यार्थ्यांच्या उत्तराचे एंबेडिंग मिळवू शकतो आणि त्याला वास्तविक उत्तराच्या एंबेडिंग सह तुलना करू शकतो. जर त्यांच्यामधील कोसाईन अंतर ठराविक थ्रेशहोल्ड पेक्षा कमी असेल तर आपण त्यांना लक्षात घेऊ शकतो आणि त्याचप्रमाणे उत्तरे बरोबर म्हणून नोंदवू शकतो.

आपण विद्यार्थ्यांची उत्तरे आणि योग्य उत्तरे यांची एंबेडिंग मिळविण्यासाठी स्वत: लक्ष देणारी मॉडेल्स वापरू शकतो जसे की BERT[1] आणि RoBERT[2]  आणि त्यांच्यामधील समरूपता मिळविण्यासाठी त्यांच्यामधील कोसाईन अंतर मोजू शकतो. 

संदर्भ

[1] जेकब डेव्हलिन, मिंग-वेई चांग, केंटन ली, क्रिस्टीना तननोव्हा. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”

[2] यिनहान लिऊ, म्यले ओथ, नमान गोयल, जिंगेई डु, मंदार जोशी, डॅनकी चेन, ओमर लेव्ही, माईक लुईस, ल्यूक झट्लेमॉयर, वेसेलिन स्टोयानोव. “RoBERTa: A Robustly Optimized BERT Pretraining Approach”

[3] फाल्दु, कीर, अमित शेठ, प्रशांत किकानी, आणि हेमांग अकबारी. “के-बर्ट: Infusing Knowledge Context for Better Language and Domain Understanding.” arXiv preprint arXiv:2104.08145 (2021).

[4] गौर, मानस, अंकित देसाई, कीर फाल्डु आणि अमित शेथ. “Explainable AI Using Knowledge Graphs.” In ACM CoDS-COMAD Conference. 2020.

[5] गौर, मानस, कीर फाल्दु आणि अमित शेथ. “Semantics of the Black-Box: Can knowledge graphs help make deep learning systems more interpretable and explainable?.” IEEE Internet Computing 25, no. 1 (2021): 51-59.

[6] ढवाला, सोमा, चिराग भाटिया, जॉय बोस, कीर फाल्दु आणि आदित्य अवस्थि. “Auto Generation of Diagnostic Assessments and Their Quality Evaluation.” International Educational Data Mining Society (2020).

[7] “#RAISE2020 – Embibe – AI-Powered learning outcomes platform for personalized education”, MyGov India, Oct 2020, https://www.youtube.com/watch?v=kuwFtHgN3qU

[8] फाल्डू, कीर, अचिंट थॉमस आणि आदिती एवस्थी. “System and method for recommending personalized content using contextualized knowledge base.” U.S. Patent Application 16/586,512, filed October 1, 2020.