கேள்விப் பாகுபாடு காரணி

கேள்விப் பாகுபாடு காரணி

எதிர்பார்க்கும் கற்றல் வெளிப்பாட்டை மதிப்பிட கற்பவர்களால் அதிகளவில் பயன்படுத்தப்படும் முறையே டெஸ்ட். மாணவர்களின் கற்றலை மேம்படுத்தவும் கற்றல் இடைவெளியை கண்டறியவும் இந்த டெஸ்ட்கள் நியாமானதாகவும் செயல்திறன் மிக்கதாகவும் இருத்தல் வேண்டும். டெஸ்ட்டின் துறை சார்ந்த ஒவ்வொரு கேள்வியும் இலக்குகளை எட்ட எவ்வளவு பொருத்தமானதாக இருக்கிறது என்பதே, டெஸ்ட்கள் எவ்வளவு திறமிக்கது என்பதற்கான சான்று.

எனவே, டெஸ்டின் நம்பகத்தன்மையினை அதிலிருக்கும் உள்ளடக்கத்தை பகுப்பாய்வு செய்வதன் மூலம் அதிகப்படுத்தலாம். இதில் மாணவர் அளிக்கும் ஒவ்வொரு கேள்விக்குமான பதிலும் மதிப்பாய்வு செய்யப்பட்டு அவர்களது திறனை பரிசோதிக்க பயன்படுகிறது. உள்ளடக்கத்தை பகுப்பாய்வு செய்வதில் ஒரு முக்கிய முறை, உள்ளடக்கப் பாகுபாடு, அதாவது ஒவ்வொரு மாணவரையும் வேறுபடுத்தும் கேள்விகளின் திறன். பல்வேறு மாணவர்களின் குழுக்களில் கேள்விகள் எவ்வாறு மாணவர்களின் திறனை வேறுபடுத்துகின்றன என்பதன் உள்ளடக்கமே கேள்வி பாகுபாடு காரணி எனப்படுகிறது. குறைந்த மதிப்பெண் பெறுபவரை விட அதிக மதிப்பெண் பெறுபவர் எப்படி கேள்விக்கு சரியாக பதிலளிக்கிறார் என்பதை இது விளக்குகிறது.

கேள்விகளின் கேள்வி பாகுபாடு காரணியை கணக்கிட, Embibe பாரம்பரியமான புள்ளிவிவரத்தின் படி – ஐட்டம் பாயிண்ட் பைசீரியல் கோரலேஷன் மற்றும் ஆழ்ந்த கற்றல் அடிப்படையிலான முறைகளைப் பயன்படுத்தியுள்ளது. ஐட்டம் பாயிண்ட் பைசீரியல் கோரலேஷன் என்பது ஒரு மாணவருக்கான கேள்வி மதிப்பெண் மற்றும் மொத்த மதிப்பெண்ணுக்கு இடையிலான பியர்சன்-தயாரிப்பு தருண தொடர்பு ஆகும். எனவே, சரியாக பதிலளித்த மாணவர்களின் மொத்த மதிப்பெண்களுக்கும், தவறாக பதிலளித்த மாணவர்களுக்கும் உள்ள வேறுபாடு, அதிகம் இருப்பின் கேள்வி பாகுபாடு காரணியின் மதிப்பு அதிகமாக இருக்கும். ஆழந்த நியூரல் நெட்வொர்க் அமைப்பைப் பயன்படுத்தி ஐட்டம் ரெஸ்பான்ஸ் கோட்பாட்டிலிருந்து 2PL மாதிரியையும் பயன்படுத்தியுள்ளோம். மாணவர்களின் முயற்சிகளின் தரவைப் பொறுத்தவரை, பயிற்சி பெற்ற DNN-யிலிருந்து கேள்வியின் கடின நிலை மற்றும் பாகுபாடு காரணியைப் பெறுகிறோம். மாணவர்களின் கேள்வி முயற்சிக்கான தொடர்புகளுடன் கேள்வி பாகுபாடு காரணியின் மதிப்பு எவ்வாறு மாறுபடுகிறது என்பதற்கான எடுத்துக்காட்டு கீழே கொடுக்கப்பட்டுள்ளது.

QDF = 0.11	QDF = 0.80
கேள்வி 1: குறைந்த மூலக்கூறு எடையுள்ள ஆல்கஹால்கள் அ.அனைத்து கரைப்பான்களிலும் கரையக்கூடியது (சரியான தெரிவு) ஆ. நீரில் கரையும் இ. அனைத்து கரைப்பான்களிலும் கரையாதது ஈ. தண்ணீரில் சூடாக்கினால் கரையக்கூடியது	கேள்வி 2: ஆஸ்பிரின் இவ்வாறு அழைக்கப்படுகிறது அ.அசிடைல் சாலிசிலிக் அமிலம் (சரியான தெரிவு) ஆ. மெத்தில் சாலிசிலிக் அமிலம் இ. அசிடைல் சாலிசிலேட் ஈ.மெத்தில் சாலிசிலேட்

இங்கே, x- அச்சு மொத்த மதிப்பெண்களைக் குறிக்கிறது மற்றும் y- அச்சு மாணவர்களின் இயல்பான எண்ணிக்கையைக் குறிக்கிறது. மஞ்சள் கோடு கேள்விக்கு பதில் தவறாகப் பெற்ற மாணவர்களின் மொத்த மதிப்பெண்களின் பரவலைக் குறிக்கிறது. நீலக் கோடு கேள்விக்கு சரியான பதிலை பெற்ற மாணவர்களின் மொத்த மதிப்பெண்களின் பரவலைக் குறிக்கிறது. கேள்வி 1-இல், சரியாக பதில் பெற்ற மாணவர்களின் மொத்த மதிப்பெண்களுக்கு இடையே அதிக பொருத்தம் உள்ளது, அதே நேரத்தில் கேள்வி 2 இல், பொருத்தம் மிகக் குறைவாக உள்ளது. எனவே, கேள்வி 1-ஐ விட கேள்வி 2-க்கு கேள்வி பாகுபாடு காரணியின் மதிப்பு அதிகமாக உள்ளது. இறுதிக் கேள்வி பாகுபாடு காரணியின் மதிப்பு, மேலே உள்ள முறை மற்றும் டெஸ்ட் அளவுருக்களின் நேர்த்தியான முடிவாகும்.

இரண்டு வெவ்வேறு டெஸ்ட்டுகளில் மாணவர்களின் செயல்திறனை ஒப்பிடுவதற்காக Embibe ஒரு சரிபார்ப்பு பரிசோதனையை நடத்தியது:

1. அடிப்படை கொள்கை: இங்கே, அடிப்படை உண்மை தரவுத்தொகுப்பிலிருந்து பாகுபாடு காரணிகள் காரணமாக கேள்விகள் பாகுபாடின்றி தேர்வு செய்யப்படுகின்றன, இது கடின நிலைகள் மற்றும் பாடத்திட்டத்தின் முடிவு மீது எதிர்பார்க்கப்படும் பரவலை உறுதி செய்கிறது.
2. பாகுபாடு மட்டுமேயான கொள்கை: இங்கே, அடிப்படைத் தரவுத்தொகுப்பிலிருந்து கேள்விகள் தேர்ந்தெடுக்கப்படுகின்றன, மொத்த பாடத்திட்டத்திலிருந்தும் கேள்விகள் எடுக்கப்படுகிறதா என்பதை உறுதி செய்ய – ஒவ்வொரு அத்தியாயத்தில் இருந்தும் குறைந்தபட்சம் ஒரு கேள்வியும், எத்தகைய கடின நிலையிலும் கேள்விகளின் ஒட்டுமொத்த பாகுபாட்டின் காரணிஅதிகபட்சமாக இருத்தலையும் உறுதி செய்கிறது.

சோதனைக்காக, மொத்தம் 312 மாணவர்கள் 75 கேள்விகள் அடங்கிய டெஸ்ட் எழுதுவதற்கு தேர்ந்தெடுக்கப்பட்டனர். சோதனையின் செயல்திறனை இரண்டு புள்ளிவிவர அளவீடுகளுடன் ஒப்பிடுகையில்:

1. RMSE மூலமான மதிப்பீடு: ஐட்டம் ரெஸ்பான்ஸ் கோட்பாடு மாதிரியைப் பயன்படுத்தி, மதிப்பெண் தொகுப்பில் ஒவ்வொரு மாணவரும், கேள்விகளுக்கு சரியாக பதிலளிக்கும் சாத்தியக்கூறுகள் மற்றும் உருவாக்கப்பட்ட தேர்வுத் தாளை எழுதும் மாணவர்களின் மதிப்பெண்களிலிருந்து சராசரி திறனைக் கணக்கிடுதலையும் கணிக்கிறோம். ஐட்டம் ரெஸ்பான்ஸ் கோட்பாடு மாதிரியில் இருந்து ஒவ்வொரு மாணவரின் அடிப்படை திறனையும் நாங்கள் தீர்மானிக்கிறோம். இறுதியாக, அடிப்படை  உண்மைத் திறனுக்கும் துல்லியத்தை அளவிடும் ஊகிக்கப்பட்ட  திறனுக்கும் இடையிலான மூல சராசரி வர்க்க பிழையைக் கணக்கிடுகிறோம்.
2. ஸ்பியர்மேன் ρ மூலமான மதிப்பீடு: இங்கே, அடிப்படை உண்மை தரவு மற்றும் உருவாக்கப்பட்ட தேர்வில் இருந்து பெறப்பட்ட மாணவர்களின் திறன்களை வரிசைப்படுத்தி, இரண்டு தரவரிசைக்கு இடையேயான தரவரிசைத் தொடர்பு ρவை தீர்மானிக்கிறோம்.

கொள்கை	RMSE	தரவரிசை தொடர்பு ρ
அடிப்படையான கொள்கை	0.844	0.59
பாகுபாடு மட்டும் கொள்கை	0.549	0.83

மேலும், அடிப்படையான கொள்கை டெஸ்டை விட பாகுபாடு மட்டும் கொள்கையின் டெஸ்ட் 24.8% சிறந்த மதிப்பெண்களை (மாணவர்களின் 95 வது சதவிகிதத்தில் மதிப்பெண் – 5 வது சதவீத மதிப்பெண்) அளிக்கிறது என்பதை நாங்கள் கண்டறிந்தோம்.

எனவே, டெஸ்ட்களில் அதிக கேள்வி பாகுபாடு காரணி கேள்விகளைப் பயன்படுத்துவது, ஒரே கற்றல் நோக்கங்களை கொண்ட மாணவர்களை வேறுபடுத்துவது, அவர்களின் திறனின் அடிப்படையில் தேர்வின் தரத்தை மேம்படுத்துகிறது. மேலும், இவை எதிர்மறையான கேள்வி பாகுபாட்டு காரணியுடன் கேள்விகளைக் கண்டறிந்து அவற்றின் தொடர்பையும், தெளிவையும் மேம்படுத்துவதற்காகப் பயன்படுத்தப்படுகின்றன.

ரெபரன்ஸஸ்

• Soma Dhavala, Chirag Bhatia, Joy Bose, Keyur Faldu, Aditi Avasthi, “Auto Generation of Diagnostic Assessments and their Quality Evaluation,” July 2020, EDM.
• Vincent LeBlanc, Michael A. A. Cox, “Interpretation of the point-biserial correlation coefficient in the context of a school examination,” January 2017, The Quantitative Methods for Psychology 13(1):46-56
• Linden, W. D., and R. Hambleton. “Handbook of Modern Item Response Theory.” (1997), Biometrics 54:1680
• Desai, Nishit, Keyur Faldu, Achint Thomas, and Aditi Avasthi. “System and method for generating an assessment paper and measuring the quality thereof.” U.S. Patent Application 16/684,434, filed October 1, 2020.
• “Autogeneration of Diagnostic Test and Their Quality Evaluation – EDM:2020”, EDM 2020 presentation, Jul 2020, https://www.youtube.com/watch?v=7wZz0ckqWFs
• Faldu, Keyur, Achint Thomas, and Aditi Avasthi. “System and method for behavioral analysis and recommendations.” U.S. Patent Application 16/586,525, filed October 1, 2020.