କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର

କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର

ଲକ୍ଷ୍ୟ ଧାର୍ଯ୍ୟ ଲର୍ଣ୍ଣିଂ ଆଉଟକମ୍‌ରେ କିପରି ପ୍ରଦର୍ଶନ ହୋଇଛି, ତାହା ନିରୂପଣ କରିବା ପାଇଁ ଟେଷ୍ଟ ହେଉଛି ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ ଦ୍ୱାରା ବ୍ୟବହୃତ ସର୍ବାଧିକ ପସନ୍ଦର ମୂଲ୍ୟାଙ୍କନ କୌଶଳ । ତେଣୁ, ବିଦ୍ୟାର୍ଥୀମାନଙ୍କର ଶିକ୍ଷଣର ଅଭାବ ଚିହ୍ନଟ କରିବା ଏବଂ ବିଦ୍ୟାର୍ଥୀମାନଙ୍କ ଶିକ୍ଷଣକୁ ବଢାଇବା ପାଇଁ ଟେଷ୍ଟ ନିରପେକ୍ଷ ଏବଂ ପ୍ରଭାବଶାଳୀ ହେବା ଆବଶ୍ୟକ । ଏସବୁ ଲକ୍ଷ୍ୟଗୁଡିକ ପୂରଣ କରିବାକୁ ହେଲେ ଦେଖିବାକୁ ହେବ ଯେ ଏହି ଟେଷ୍ଟର ପ୍ରତ୍ୟେକ ପ୍ରଶ୍ନ କେତେ ପ୍ରାସଙ୍ଗିକ । ଏହିପରି, ଆଇଟମ୍ ବା ପ୍ରଶ୍ନ ବିଶ୍ଳେଷଣ ଦ୍ୱାରା ଏକ ଟେଷ୍ଟର ବିଶ୍ୱସନୀୟତା ବୃଦ୍ଧି କରାଯାଇପାରିବ, ଯେଉଁଠାରେ ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ ଉତ୍ତର ପ୍ରତ୍ୟେକ କାର୍ଯ୍ୟଦକ୍ଷତା କିମ୍ବା ମୂଲ୍ୟାଙ୍କନ ପାଇଁ ବ୍ୟବହାର କରାଯାଇଥାଏ । ଆଇଟମ୍ ଆନାଲିସିସ୍‌ରେ ଏକ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ ପଦ୍ଧତି ହେଉଛି ଆଇଟମ୍ ଭେଦଭାବ ଯାହା ବିଭିନ୍ନ ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ ପାଇଁ ଭିନ୍ନ ଭିନ୍ନ ପ୍ରଶ୍ନର କଠିନତାକୁ ସୂଚିତ କରେ । କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର ହେଉଛି ଏକ ସୂଚକାଙ୍କ ଯାହା ଏକ ପ୍ରଶ୍ନ ବିଭିନ୍ନ ୟୁଜର୍‌ଙ୍କ ସମୂହ ମଧ୍ୟରେ କେତେ ଭିନ୍ନ ହୋଇପାରେ ତାହା ନିରୂପଣ କରିଥାଏ । ନିମ୍ନ ସ୍କୋରର୍‌ଙ୍କ ଅପେକ୍ଷା ଟପ୍ ସ୍କୋରର୍‌ଙ୍କ ପ୍ରଶ୍ନର ଉତ୍ତର କିପରି ସଠିକ୍ ହେବାର ସମ୍ଭାବନା ଅଧିକ, ତାହା ଏଥିରେ ଦର୍ଶାଯାଇଛି ।

ପ୍ରଶ୍ନର କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟରକୁ ଗଣନା କରିବା ପାଇଁ, Embibe ପାରମ୍ପାରିକ ପରିସଂଖ୍ୟାନ – ଆଇଟମ୍ ପଏଣ୍ଟ ବିସେରିଆଲ୍ ସମ୍ପର୍କ ଏବଂ ଗଭୀର ଶିକ୍ଷଣ-ଆଧାରିତ ପଦ୍ଧତି ବ୍ୟବହାର କରିଛି । ଆଇଟମ୍ ପଏଣ୍ଟ ବିସେରିଆଲ୍ ସମ୍ପର୍କ ହେଉଛି ଏକ ଛାତ୍ର ପାଇଁ ପ୍ରଶ୍ନ ସ୍କୋର୍ ଏବଂ ମୋଟ ସ୍କୋର୍ ମଧ୍ୟରେ ଏକ ପିଅରସନ୍-ଉତ୍ପାଦ ମୁହୂର୍ତ୍ତର ସମ୍ପର୍କ । ତେଣୁ, ପ୍ରଶ୍ନର ସଠିକ୍ ଉତ୍ତର ଦେଇଥିବା ଏବଂ ପ୍ରଶ୍ନର ଭୁଲ ଉତ୍ତର ଦେଇଥିବା ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ ମଧ୍ୟରେ ମୋଟ ସ୍କୋର୍ ମଧ୍ୟରେ ପାର୍ଥକ୍ୟ ଯେତେ ଅଧିକ ହେବ, କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର ମୂଲ୍ୟ ମଧ୍ୟ ସେତେ ଅଧିକ ହେବ । ଡିପ୍ ନ୍ୟୁରାଲ୍ ନେଟୱାର୍କ ଜ୍ଞାନକୌଶଳ ବ୍ୟବହାର କରି କ୍ଲାସିକାଲ୍ ଆଇଟମ୍ ରେସପନ୍ସ ଥିଓରୀରୁ ଆମେ 2PL ମଡେଲ୍ ମଧ୍ୟ କାର୍ଯ୍ୟକାରୀ କରିଛୁ । ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ ପ୍ରୟାସ ତଥ୍ୟକୁ ଦିଆଯାଇଥିଲେ, ଆମେ ଦକ୍ଷ DNN ର ଗୁରୁତ୍ୱରୁ ପ୍ରଶ୍ନର କଠିନତା ସ୍ତର ଏବଂ ଭେଦଭାବ କାରକ ପାଇଥାଉ । ଶିକ୍ଷାର୍ଥୀମାନଙ୍କର ପ୍ରଶ୍ନର ଉତ୍ତର ଦେବାର ପ୍ରୟାସ ସହିତ କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟରର ମୂଲ୍ୟ କିପରି ବଦଳିଥାଏ ତାହାର ଏକ ଉଦାହରଣ ଏଠାରେ ଅଛି ।

QDF = 0.11	QDF = 0.80
ପ୍ରଶ୍ନ 1: କମ୍ ଆଣବିକ ଓଜନ ବିଶିଷ୍ଟ ଆଲକୋହଲ୍ a. ସବୁ ଦ୍ରାବକରେ ଦ୍ରବୀଭୂତ (ସଠିକ ବିକଳ୍ପ) b. ଜଳରେ ଦ୍ରବୀଭୂତ c. ସବୁ ଦ୍ରାବକରେ ଅଦ୍ରବୀଭୂତ d. ଉତ୍ତପ୍ତ କଲେ ଜଳରେ ଦ୍ରବୀଭୂତ	ପ୍ରଶ୍ନ 2: ଆସ୍ପିରିନ୍ କୁ ଆଉ କଣ କୁହାଯାଏ? a. ଏସିଟିଲ୍ ସାଲିସିଲିକ୍ ଏସିଡ୍(ସଠିକ ବିକଳ୍ପ) b. ମିଥାଇଲ୍ ସାଲିସିଲିକ୍ ଏସିଡ୍ c. ଏସିଟାଇଲ୍ ସାଲିସିଲେଟ୍ d. ମିଥାଇଲ୍ ସାଲିସିଲେଟ୍

ଏଠାରେ, x-ଅକ୍ଷ ସ୍କୋର୍ ହୋଇଥିବା ମୋଟ ମାର୍କକୁ ଦର୍ଶାଉଛି ଏବଂ y-ଅକ୍ଷ ବିଦ୍ୟାର୍ଥୀମାନଙ୍କର ସାଧାରଣ ସଂଖ୍ୟାକୁ ଦର୍ଶାଉଛି । ହଳଦିଆ ରେଖା ବିଦ୍ୟାର୍ଥୀଙ୍କ ମୋଟ ମାର୍କର ବଣ୍ଟନକୁ ସୂଚିତ କରେ ଯେଉଁମାନେ ପ୍ରଶ୍ନକୁ ଭୁଲ୍ କରିଥିଲେ । ନୀଳ ରେଖା ବିଦ୍ୟାର୍ଥୀମାନଙ୍କୁ ସମୁଦାୟ ମାର୍କର ବଣ୍ଟନକୁ ସୂଚିତ କରେ ଯେଉଁମାନେ ପ୍ରଶ୍ନକୁ ସଠିକ୍ କରିଥିଲେ । ପ୍ରଶ୍ନ 1 ରେ, ପ୍ରଶ୍ନକୁ ସଠିକ୍ କରିଥିବା ବିଦ୍ୟାର୍ଥୀମାନଙ୍କ ମୋଟ ମାର୍କ ମଧ୍ୟରେ ଅଧିକ ଓଭରଲ୍ୟାପ୍ ଅଛି, ପ୍ରଶ୍ନ 2 ରେ ଓଭରଲ୍ୟାପ୍ ଅତି କମ୍ ରହିଛି, ତେଣୁ ପ୍ରଶ୍ନ 1ଠାରୁ ପ୍ରଶ୍ନ 2 ରେ କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟରର ମୂଲ୍ୟ ଅଧିକ । କ୍ୱେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର ମୂଲ୍ୟ ହେଉଛି ଉପରୋକ୍ତ ପଦ୍ଧତି ଓ ପରୀକ୍ଷଣ ପାରାମିଟରଗୁଡିକର ସୂକ୍ଷ୍ମ ଫଳାଫଳ ।

ଦୁଇଟି ଭିନ୍ନ ଟେଷ୍ଟରେ ବିଦ୍ୟାର୍ଥୀଙ୍କ ପ୍ରଦର୍ଶନକୁ ତୁଳନା କରିବା ପାଇଁ Embibe ଏକ ବୈଧତା ପରୀକ୍ଷଣ କରିଥିଲା :

1. ବେସଲାଇନ୍ ପଲିସି : ମୂଳଭୂତ ଡାଟାବେସ୍ ଠାରୁ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟରଗୁଡିକ କାରଣରୁ ପ୍ରଶ୍ନଗୁଡିକ ବିନା ପକ୍ଷପାତିତାରେ ଚୟନ ହୁଏ ଏବଂ  କଠିନତା ସ୍ତର ଓ ସିଲାବସ୍ କଭରେଜ୍ ଉପରେ ଆଶାଜନକ ଭାବେ ଦୃଷ୍ଟି ଦେଇଥାଏ ।
2.  ଡିସ୍କ୍ରିମିନେସନ୍ ଓନଲି ପଲିସି : ଏଠାରେ, ପ୍ରଶ୍ନଗୁଡିକ ମୂଳଭୂତ ଡାଟାସେଟରୁ ମନୋନୀତ ହୋଇଛି, ଯାହା ସିଲାବସ୍ କଭରେଜ୍ ହୋଇଥିବା ସୁନିଶ୍ଚିତ କରେ – ପ୍ରତ୍ୟେକ ଅଧ୍ୟାୟରୁ ଅତି କମରେ ଗୋଟିଏ ପ୍ରଶ୍ନ ରହିଥାଏ ଏବଂ ଏହା ନିଶ୍ଚିତ କରେ ଯେ ପ୍ରଶ୍ନଗୁଡ଼ିକର ସାମଗ୍ରିକ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର ଯେକୌଣସି କଠିନତା ସ୍ତରରେ ସର୍ବାଧିକ ହୋଇଥିବ ।

ଏକ ପରୀକ୍ଷଣ ପାଇଁ, 75 ଟି ପ୍ରଶ୍ନ ଥିବା ଟେଷ୍ଟ ଦେବାକୁ ସମୁଦାୟ 312 ଜଣ ବିଦ୍ୟାର୍ଥୀଙ୍କୁ ମନୋନୀତ କରାଯାଇଥିଲା । ଦୁଇଟି ପରିସଂଖ୍ୟାନ ମେଟ୍ରିକ୍ ପରୀକ୍ଷଣର ପ୍ରଦର୍ଶନକୁ ତୁଳନା କରିଥିଲା:

1. RMSE ବ୍ୟବହାର କରି ମୂଲ୍ୟାଙ୍କନ: ଆଇଟମ୍ ରେସପନ୍ସ ଥିଓରୀ ମଡେଲ୍ ବ୍ୟବହାର କରି ଆମେ ପ୍ରଶ୍ନର ସଠିକ୍ ଉତ୍ତର ଦେଇ ମୂଲ୍ୟାଙ୍କନ ସେଟ୍ ରେ ପ୍ରତ୍ୟେକ ବିଦ୍ୟାର୍ଥୀଙ୍କ ସମ୍ଭାବନାକୁ ପୂର୍ବାନୁମାନ କରୁ ଏବଂ ଯଦି ସେମାନେ ସୃଷ୍ଟି ହୋଇଥିବା ଟେଷ୍ଟ ପ୍ରଶ୍ନପତ୍ରକୁ ଉତ୍ତର ଦେବା ଲାଗି ପ୍ରୟାସ କରିବାକୁ ଚାହାଁନ୍ତି ତେବେ ବିଦ୍ୟାର୍ଥୀଙ୍କ ସ୍କୋର୍ ରୁ ହାରାହାରି ଦକ୍ଷତା ଗଣନା କରିବେ । ଆଇଟମ୍ ରେସପନ୍ସ ଥିଓରୀ ମଡେଲ୍ ରୁ ଆମେ ପ୍ରତ୍ୟେକ ଶିକ୍ଷାର୍ଥୀଙ୍କ ଗ୍ରାଉଣ୍ଡ ଟ୍ରୁଥ୍ ଦକ୍ଷତା ମଧ୍ୟ ନିର୍ଣ୍ଣୟ କରୁ । ଶେଷରେ, ସଠିକତା ଜାଣିବା ପାଇଁ ଆମେ ଗ୍ରାଉଣ୍ଡ୍ ଟ୍ରୁଥ୍ ଦକ୍ଷତା ଏବଂ ଆକଳନ କରୁଥିବା ଦକ୍ଷତା ମଧ୍ୟରେ ଥିବା  ମୂଳ ମଧ୍ୟ ବର୍ଗ ତ୍ରୁଟି ନିରୂପଣ କରିଥାଉ ।
2. ସ୍ପିୟରମ୍ୟାନ୍ ଙ୍କ ρ ବ୍ୟବହାର କରି ମୂଲ୍ୟାଙ୍କନ: ଏଠାରେ, ଆମେ ଗ୍ରାଉଣ୍ଡ୍ ଟ୍ରୁଥ୍ ତଥ୍ୟ ଏବଂ ପ୍ରସ୍ତୁତ ହୋଇଥିବା ଟେଷ୍ଟରୁ ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ ଦକ୍ଷତାକୁ ବାହାର କରିବା ଏବଂ ଦୁଇ ରାଙ୍କ୍ ମଧ୍ୟରେ ରାଙ୍କ୍ କୋରିଲେସନ୍ ρ ନିର୍ଣ୍ଣୟ କରିବା ।

ପଲିସୀ	RMSE	ରାଙ୍କ୍ କୋରିଲେସନ୍ ρ
ବେସଲାଇନ୍ ପଲିସି	0.844	0.59
ଡିସ୍କ୍ରିମିନେସନ୍ ଓନଲି ପଲିସି	0.549	0.83

ଆହୁରି ମଧ୍ୟ, ଆମେ ଜାଣିଲୁ ଯେ, ଡିସ୍କ୍ରିମିନେସନ୍ ଓନଲି ଟେଷ୍ଟ ବେସଲାଇନ୍ ପଲିସି ଟେଷ୍ଟ ଅପେକ୍ଷା ସ୍କୋର୍ ର 24.8% ଭଲ ବିସ୍ତାର କରିଥାଏ (ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ 95 ତମ ପର୍ସେଣ୍ଟାଇଲ୍ ସ୍କୋର୍ – 5 ପର୍ସେଣ୍ଟାଇଲ୍ ସ୍କୋର୍) ।

ତେଣୁ, ଟେଷ୍ଟରେ ଉଚ୍ଚ ପ୍ରଶ୍ନର ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର ପ୍ରଶ୍ନର ବ୍ୟବହାର ସମାନ ଲକ୍ଷ୍ୟପ୍ରାପ୍ତ ଶିକ୍ଷଣ ଲକ୍ଷ୍ୟ ଅଧୀନରେ ଥିବା ଶିକ୍ଷାର୍ଥୀମାନଙ୍କ ମଧ୍ୟରେ ଭିନ୍ନତା କରିବାର ଶକ୍ତି ଦୃଷ୍ଟିରୁ ଟେଷ୍ଟର ମାନକୁ ଉନ୍ନତ କରିଥାଏ । ଆହୁରି ମଧ୍ୟ, ବିଷୟବସ୍ତୁ ମାନକୁ ଉନ୍ନତ କରିବା ପାଇଁ ଏଗୁଡିକ ଉପଯୋଗୀ ହୋଇଥାଏ, ଯେଉଁଠାରେ ଆମେ ନକାରାତ୍ମକ କ୍ଵେଶ୍ଚିନ୍ ଡିସ୍କ୍ରିମିନେସନ୍ ଫ୍ୟାକ୍ଟର ବିଶିଷ୍ଟ ପ୍ରଶ୍ନଗୁଡିକ ଚିହ୍ନଟ କରିଥାଉ ଏବଂ ସେମାନଙ୍କର ପ୍ରାସଙ୍ଗିକତା ଓ ସ୍ୱଚ୍ଛତାକୁ ଉନ୍ନତ କରିଥାଉ ।

ସନ୍ଦର୍ଭ

• Soma Dhavala, Chirag Bhatia, Joy Bose, Keyur Faldu, Aditi Avasthi, “Auto Generation of Diagnostic Assessments and their Quality Evaluation,” July 2020, EDM.
• Vincent LeBlanc, Michael A. A. Cox, “Interpretation of the point-biserial correlation coefficient in the context of a school examination,” January 2017, The Quantitative Methods for Psychology 13(1):46-56
• Linden, W. D., and R. Hambleton. “Handbook of Modern Item Response Theory.” (1997), Biometrics 54:1680