ప్రశ్నా వివక్ష కారకం

ప్రశ్నా వివక్ష కారకం

నేర్చుకోవాలని లక్ష్యంగా పెట్టుకున్న వాటిలో తాము ఎంత వరకు సఫలత సాధించామో తెలుసుకునేందుకు లెర్నర్లు ఉపయోగించే సర్వసాధారణ మార్గం టెస్ట్స్. వీటి ద్వారా తాము ఎంత వరకు నైపుణ్యం పొందారో ఓ అంచనాకు వచ్చే అవకాశం ఉంటుంది. కాబట్టి విద్యార్థుల యొక్క విద్యలో ఉన్న అంతరాలను గుర్తించి వాటిని సరిచేసి వారి అభ్యాసాన్ని సక్రమమైన మార్గంలో ఉంచాలంటే అందుకు టెస్ట్స్ అనేది చాలా బాగా పటిష్టంగా ఉండాల్సి ఉంటుంది. ఒక టెస్ట్‌లో ఇచ్చిన ప్రశ్నలు ఎంత సమర్థవంతంగా ఉంటే విద్యార్థి యొక్క లక్ష్యం దిశగా ఆ టెస్ట్ అంత పటిష్టంగా ఉన్నట్లు లెక్క. కాబట్టి ఒక టెస్ట్ యొక్క విశ్వసనీయతను దానిలోని విశ్లేషణ, ప్రశ్నలకు విద్యార్థులు ఇచ్చే సమాధానాలు లేదా టెస్ట్ పెర్ఫార్మెన్స్‌ని మూల్యాంకనం చేయడానికి ఉపయోగించుకునే అంశాలు. మొదలైనవాటి ద్వారా బాగా పెంచవచ్చు. అంశం విశ్లేషణలో ఒక ముఖ్య భాగం అంశం పట్ల ఉండే వివక్ష. వివిధ రకాల లెర్నర్లను గుర్తించడంలో ఉపయోగపడే ప్రశ్న యొక్క శక్తిని ఆ అంశం యొక్క వివక్ష అంటారు. ఒక ప్రశ్న యొక్క వివక్ష కారకం అనేది వివిధ వినియోగదారుల సమన్వయాల మధ్య ఓ ప్రశ్న ఎంతవరకు బేధం తీసుకురాగలదో కొలిచే సూచిక. తక్కువ మార్కులు తెచ్చుకునేవారి కంటే ఎక్కువ మార్కులు తెచ్చుకునేవారు ఆ ప్రశ్నకు ఎలా సరైన సమాధానం చెప్పగలరో ఇది తెలియజేస్తుంది.

ప్రశ్నల యొక్క ప్రశ్నా వివక్ష కారకాన్ని గణించేందుకు Embibe సంప్రదాయ గణాంక – అంశంలోని పాయింట్ల సహసంబంధం మరియు లోతైన అభ్యాస ఆధారిత పద్ధతులను ఉపయోగిస్తుంది. అంశంలోని పాయింట్ల సహసంబంధం అనేది ప్రాథమికంగా ప్రశ్న యొక్క స్కోరు మరియు విద్యార్థి యొక్క మొత్తం స్కోరు మధ్య గల సహసంబంధం. కాబట్టి ఎవరైతే ప్రశ్నలకు సరైన సమాధానాలు చెప్పారో వారి మొత్తం స్కోరు తప్పు సమాధానాలు చెప్పిన వారితో పోలిస్తే చాలా ఎక్కువగా ఉంటుంది. అదేవిధంగా ప్రశ్న యొక్క వివక్ష కారకం విలువ కూడా ఎక్కువగా ఉంటుంది. లోతైన న్యూరల్ నెట్‌వర్క్ నిర్మాణాన్ని ఉపయోగించి సంప్రదాయ అంశాల స్పందన సిద్ధాంతం నుంచి 2PL నమూనాని కూడా ఆచరణలో పెట్టాం. విద్యార్థులు అటెంప్ట్ చేసిన డేటా ఇచ్చిన తర్వాత వాటిలోని ప్రశ్నల యొక్క కఠినత స్థాయి మరియు ప్రశ్నా వివక్ష కారకాలను శిక్షణ పొందిన DNN నుంచి అంచనా వేసేందుకు ప్రయత్నిస్తాం. లెర్నర్లు ప్రశ్నలకు స్పందించే తీరుకు అనుగుణంగా ప్రశ్నా వివక్ష కారకం విలువ అనేది తెలుసుకుంటామో ఇక్కడ ఉన్న ఉదాహరణల ద్వారా చూడండి.

ఇక్కడ x-అక్షం మొత్తం స్కోర్ చేసిన మార్కులను సూచిస్తే; y-అక్షం విద్యార్థుల యొక్క సాధారణ సంఖ్యను సూచిస్తుంది. పసుపు రంగు రేఖ తప్పు సమాధానం ఇచ్చిన విద్యార్థుల మొత్తం మార్కుల పంపిణీని సూచిస్తుంది. అలాగే నీలం రంగు రేఖ సరైన సమాధానం ఇచ్చిన విద్యార్థుల మొత్తం మార్కుల పంపిణీని సూచిస్తుంది. ప్రశ్న 1లో సరైన సమాధానం చెప్పిన విద్యార్థుల యొక్క మొత్తం మార్కులలో అతివ్యాప్తి ఎక్కువగా ఉంది. అలాగే ప్రశ్న 2లో ఈ అతివ్యాప్తి చాలా తక్కువగా ఉంది. కాబట్టి 2వ ప్రశ్న యొక్క ప్రశ్న వివక్ష కారకం యొక్క విలువ మొదటి ప్రశ్న కంటే ఎక్కువ. ఇలా మనకు లభించే ఈ తుది విలువ అనేది టెస్ట్ పరామితులకు అనుగుణంగా వెలువడింది.

రెండు వివిధ టెస్ట్స్‌లలో విద్యార్థుల యొక్క మెరుగైన తీరుని పోల్చి చూసేందుకు Embibe ఒక వ్యాలిడేషన్ ప్రయోగాన్ని నిర్వహించింది.

1. బేస్‌లైన్ పాలసీ; ఇక్కడ గ్రౌండ్ ట్రూత్ డేటాబేస్ నుంచి వివక్ష కారకాల వల్ల ఎలాంటి పక్షపాతం లేకుండా ప్రశ్నలను ఎంపిక చేసుకుంటారు. కఠినతర స్థాయులు మరియు సిలబస్ కవరేజ్ మీదగా ఊహించిన విధంగానే పంపిణీ జరుగుతుంది.
2. వివక్ష మాత్రమే పాలసీ; ఇక్కడ గ్రౌండ్ ట్రూత్ డేటాసెట్ నుంచి ప్రశ్నలు ఎంపిక చేసుకోబడతాయి. సిలబస్ కవరేజ్- అంటే ప్రతి అధ్యాయం నుంచి కనీసం ఒక ప్రశ్న అయినా వచ్చేలా ఉంటుంది. అలాగే మొత్తంగా ఉండే ప్రశ్నల వివక్ష కారకం అనేది ఏ కఠినతర స్థాయి వద్ద అయినా బాగా పెరగచ్చు.

ఒక ప్రయోగం నిమిత్తం 312 మంది విద్యార్థులను ఎంపిక చేసి వారిచే 75 ప్రశ్నలు గల ఒక టెస్ట్‌ని రాయించారు. వాటి గణాంక విలువలను పోల్చి చూడడం ద్వారా టెస్ట్ పెర్ఫార్మెన్సెస్ ఈ విధంగా ఉన్నాయి

1. RMSE ఉపయోగించి మూల్యాంకనం చేయడం: అంశం యొక్క స్పందన, సిద్ధాంత నమూనాలను ఉపయోగించి మూల్యాంకన సెట్‌లో ప్రశ్నలకు సరైన సమాధానాలు ఇవ్వడాన్ని అంచనా వేయడం ద్వారా విద్యార్థి సంభావ్యతను ఊహిస్తాం. అలాగే వారి మార్కుల నుంచి సరాసరి సామర్థ్యాలను కూడా అంచనా వేసేందుకు ప్రయత్నిస్తాం. ప్రతి విద్యార్థి యొక్క వాస్తవ సామర్థ్యాన్ని అంశం యొక్క స్పందన సిద్ధాంత నమూనా నుంచి నిర్ధారిస్తాం. చివరిగా వారి పొరపాట్ల వర్గాలను గణించి వాస్తవ సామర్థ్యం మరియు ఊహించిన సామర్థ్యం మధ్య గల తేడా తెలుసుకోడం ద్వారా వారిలోని ఖచ్చితత్వాన్ని తెలుసుకుంటాం.
2. స్పియర్‌మ్యాన్స్ ρ ఉపయోగించడం ద్వారా మూల్యాంకనం: ఇక్కడ వాస్తవ పరిస్థితుల నుంచి పొందిన విద్యార్థుల సామర్థ్యాలను మరియు ఉత్పన్నమైన టెస్ట్ మరియు ర్యాంక్ సహసంబంధం ρని రెండు ర్యాంకుల మధ్య నిర్ధారించడం ద్వారా విద్యార్థుల సామర్థ్యాలను క్రమబద్ధీకరిస్తాం.

బేస్‌లైన్ పాలసీ టెస్ట్ కంటే వివక్ష మాత్రమే పాలసీ టెస్ట్ అనేది 24.8% ఉత్తమ స్కోర్స్ (95% వద్ద విద్యార్థుల స్కోరు – 5% వద్ద విద్యార్థుల స్కోరు) అందిస్తుందని మేం కనుగొన్నాం.

కాబట్టి ఒకే రకమైన అభ్యాస లక్ష్యాలలో అధిక ప్రశ్నా వివక్ష కారకం గల ప్రశ్నలను టెస్ట్‌లో ఇవ్వడం ద్వారా దాని నాణ్యతను మరింత పెంచుతూ విద్యార్థులను వేరుచేసే శక్తిని పెంచేందుకు ఇది ఉపయోగపడుతుంది. అలాగే ఈ తరహా టెస్ట్స్ విద్యార్థుల్లో నాణ్యతను పెంచడమే కాకుండా ప్రతికూల ప్రశ్నా వివక్ష కారకాన్ని గుర్తించడం మరియు వారిలో స్పష్టత పెంచడం, సంబంధిత ప్రశ్నలు.. మొదలైనవన్నీ మెరుగవుతాయి.

రెఫెరెన్స్

• Soma Dhavala, Chirag Bhatia, Joy Bose, Keyur Faldu, Aditi Avasthi, “Auto Generation of Diagnostic Assessments and their Quality Evaluation,” July 2020, EDM.
• Vincent LeBlanc, Michael A. A. Cox, “Interpretation of the point-biserial correlation coefficient in the context of a school examination,” January 2017, The Quantitative Methods for Psychology 13(1):46-56
• Linden, W. D., and R. Hambleton. “Handbook of Modern Item Response Theory.” (1997), Biometrics 54:1680
• Desai, Nishit, Keyur Faldu, Achint Thomas, and Aditi Avasthi. “System and method for generating an assessment paper and measuring the quality thereof.” U.S. Patent Application 16/684,434, filed October 1, 2020.
• “Autogeneration of Diagnostic Test and Their Quality Evaluation – EDM:2020”, EDM 2020 presentation, Jul 2020, https://www.youtube.com/watch?v=7wZz0ckqWFs
• Faldu, Keyur, Achint Thomas, and Aditi Avasthi. “System and method for behavioral analysis and recommendations.” U.S. Patent Application 16/586,525, filed October 1, 2020.