விரிவான விடையுள்ள கேள்வி அடிப்படையிலான தானியக்க மதிப்பீடு

விரிவான விடையுள்ள கேள்வி அடிப்படையிலான தானியக்க மதிப்பீடு

பெரும்பாலான போட்டித் தேர்வுகளில் மாணவர்கள், கொடுக்கப்பட்டிருக்கும் விடைகளில் தேர்ந்தெடுக்கும் வகையை சேர்ந்தக் கேள்விகளையே பெறுகிறார்கள். அதாவது கொடுக்கப்பட்டிருக்கும் விடைகளில் ஒன்று அல்லது அதற்கு மேற்பட்ட சரியான பதில்களைத் தேர்ந்தெடுக்க வேண்டிய கேள்விகள் அல்லது மாணவர்கள் ஒரு எண் மதிப்பை உள்ளிட வேண்டிய கேள்விகளை தீர்க்க வேண்டும். கொடுக்கப்பட்டிருக்கும் விடைகளில் தேர்ந்தெடுக்கும் வகை கேள்விகளை அடிப்படையாகக் கொண்ட டெஸ்ட்களின் மதிப்பீடு நேரடியானது.

இருப்பினும், பொதுத் தேர்வு போன்ற பல தேர்வுகளில், விரிவான விடையுள்ள கேள்விகளும் இடம்பெறுகின்றன. இன்றும், விரிவான விடைகளை மதிப்பீடு செய்வது என்பது வெளிப்படையான ஆராய்ச்சி சிக்கலாகவே இருந்து வருகிறது. அதில் சில ஆராய்ச்சிகள் கட்டுரைகளை மதிப்பிடுவதில் வெற்றி கண்டுள்ளன. வெவ்வேறு பாடத்திட்டம் சார்ந்த பல்வேறு பாணிகளில் விரிவான விடையளிக்கும் கேள்விகளை மதிப்பிடும் பொதுவான மதிப்பீட்டாளரை உருவாக்குவதற்கு மேம்பட்ட NLP/NLU-வின் பயன்பாடு தேவைப்படுகிறது. மேலும் இதுவே Embibe தளம் ஆர்வம் காட்டும் அடுத்த பகுதியாக இருக்கிறது.

சிக்கலை இரண்டு துணை சிக்கலாக பிரிக்கலாம்.

1. உட்பொருளை இணைத்தல் 
2. சொற்பொருள் ஒற்றுமை

உட்பொருளை இணைத்தல்

உட்பொருளை இணைப்பதில், நாம் அக்ரோனிம்கள் மற்றும் Aka(இப்படியும் கூறலாம்) வகை உட்பொருட்களை சேர்க்கலாம். உதாரணமாக, 

“PMC “: “மகரந்த தாய் செல்”,

“MMC “: “மெகாஸ்போர் தாய் செல்”,

“PEN”: “முதன்மை எண்டோஸ்பெர்ம் உட்கரு”,

“PEC”: “முதன்மை எண்டோஸ்பெர்ம் செல்”,

“LH”: “லுடினைசிங் ஹார்மோன்”,

“FSH “: “பாலிக்கிளை தூண்டும் ஹார்மோன்”

போன்ற அக்ரானிம்கள் மற்றும்

“காளான்”: “டோட்ஸ்டூல்”,

“கிருமிகள்”: “நுண்ணுயிரிகள்”,

“பாக்டீரியா”: “நுண்ணுயிர்கள்”,

“ஈஸ்ட்”: “நுண்ணுயிர்கள்”,

“புதுப்பிக்கக்கூடியது”: “தீர்ந்துவிடாதது”,

“இயல்புகள்”: “பண்புகள்”,

போன்ற Aka வகை உட்பொருட்கள்.  நம்மால் வேதியியல் பெயர் உட்பொருட்களையும் வரைபடமாக்க முடியும்,

‘(NH4)(NO3)’ : ‘அம்மோனியம் நைட்ரேட்’,

‘(NH4)2C2O4’ : ‘அம்மோனியம் ஆக்சலேட்’,

‘Ag2O’ : ‘சில்வர் ஆக்சைடு’,

‘Ag2SO4’ : ‘சில்வர் சல்பேட்’,

‘Al(NO3)3’ : ‘அலுமினியம் நைட்ரேட்’,

இந்த மேப்பிங்கைப் பயன்படுத்தி, அக்ரோனிம்கள் மற்றும் ஒத்த சொற்களையும் வரைபடமாக்கலாம், பின்னர் அவற்றை மாணவர் பதில்களுடன் பொருத்தலாம்.

சொற்பொருள் ஒற்றுமை

இரண்டு வாக்கியங்கள் ஒரே கருத்தை குறிக்கலாம். நாங்கள் அதிநவின மொழி நடை சார்ந்த மாதிரிக்கான சாத்தியக்கூறுகளை அனுமானித்தல் மற்றும் பாடத்திட்டம் உட்செலுத்தப்பட்ட அறித்திறன் ஆகியவற்றின் மூலம் சொற்பொருள் ஒத்துமையை கண்டறிகிறோம்.

எங்கள் தளத்தில், நாங்கள் மாணவர் பதில்களின் உட்பொதிவைப் பெற்று, அதை சரியான பதில்களுக்குரிய உட்பொதிவுடன் ஒப்பிடுகிறோம். அவற்றுக்கிடையே உள்ள கொசைன் தூரம் குறிப்பிட்ட வரம்பை விட குறைவாக இருந்தால், அவற்றையும் கருத்தில் கொன்டு ஒத்த பதிலாகக் கருதி, விடையை சரியானது என குறிப்பிடுவோம்.

BERT[1] மற்றும் RoBERTa[2] போன்ற சுய-கவனம் சார்ந்த மாதிரிகளைப் பயன்படுத்தி, மாணவரின் பதில் மற்றும் சரியான பதிலின் உட்பொதிவுகளைப் பெறலாம், மேலும் அவற்றுக்கிடையே உள்ள ஒற்றுமையைப் பெற அவற்றுக்கிடையே உள்ள கொசைன் தூரத்தைக் கணக்கிடலாம்.

பரிந்துரைகள்

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov. “RoBERTa: A Robustly Optimized BERT Pretraining Approach”

[3] Faldu, Keyur, Amit Sheth, Prashant Kikani, and Hemang Akabari. “KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding.” arXiv preprint arXiv:2104.08145 (2021).

[4] Gaur, Manas, Ankit Desai, Keyur Faldu, and Amit Sheth. “Explainable AI Using Knowledge Graphs.” In ACM CoDS-COMAD Conference. 2020.

[5] Gaur, Manas, Keyur Faldu, and Amit Sheth. “Semantics of the Black-Box: Can knowledge graphs help make deep learning systems more interpretable and explainable?.” IEEE Internet Computing 25, no. 1 (2021): 51-59.

[6] Dhavala, Soma, Chirag Bhatia, Joy Bose, Keyur Faldu, and Aditi Avasthi. “Auto Generation of Diagnostic Assessments and Their Quality Evaluation.” International Educational Data Mining Society (2020).

[7] “#RAISE2020 – Embibe – AI-Powered learning outcomes platform for personalized education”, MyGov India, Oct 2020, https://www.youtube.com/watch?v=kuwFtHgN3qU

[8] Faldu, Keyur, Achint Thomas, and Aditi Avasthi. “System and method for recommending personalized content using contextualized knowledge base.” U.S. Patent Application 16/586,512, filed October 1, 2020.