પ્રશ્ન ભેદભાવ પરિબળ

પ્રશ્ન ભેદભાવ પરિબળ

લક્ષિત લર્નિંગ આઉટકમ સામે પ્રદર્શન માપવા માટે શીખનારાઓ દ્વારા ઉપયોગમાં લેવામાં આવતી ટેસ્ટ એ સૌથી વધુ પસંદગીની એસેસમેન્ટ ટેકનિક છે. તેથી, વિદ્યાર્થીઓના શીખવાના અંતરને ઓળખવા અને વિદ્યાર્થીઓના શિક્ષણને વેગ આપવા માટે ટેસ્ટ ન્યાયી અને અસરકારક હોવી જોઈએ. આ લક્ષ્યોને પરિપૂર્ણ કરવા માટે ટેસ્ટની ક્ષમતા એ ટેસ્ટનો દરેક પ્રશ્ન કેટલો સુસંગત છે તેનું એકત્રીકરણ છે. આમ, વસ્તુના એનાલિસિસ દ્વારા ટેસ્ટની વિશ્વસનીયતા વધારી શકાય છે, જ્યાં દરેક પ્રશ્ન અથવા આઇટમ માટે વિદ્યાર્થીઓના પ્રતિભાવોનો ઉપયોગ ટેસ્ટના પ્રદર્શનનું મૂલ્યાંકન કરવા માટે કરવામાં આવે છે. આઇટમ એનાલિસિસમાં મહત્વની પદ્ધતિઓમાંની એક વસ્તુ ભેદભાવ છે જે વિવિધ શીખનારાઓ વચ્ચે તફાવત કરવામાં પ્રશ્નની શક્તિનો સંદર્ભ આપે છે. પ્રશ્ન ભેદભાવ પરિબળ એ એક અનુક્રમણિકા છે જે માપે છે કે પ્રશ્ન વિવિધ વપરાશકર્તા સમૂહો વચ્ચે કેટલી સારી રીતે તફાવત કરી શકે છે. તે દર્શાવે છે કે કેવી રીતે ટોચના સ્કોર કરનારાઓ ઓછા સ્કોર કરનારા કરતાં પ્રશ્ન માટે સાચા પ્રયાસની શક્યતા વધારે છે.

પ્રશ્નોના પ્રશ્ન ભેદભાવ પરિબળની ગણતરી કરવા માટે, Embibe ટ્રેડિશનલ આંકડાકીય – આઇટમ પોઈન્ટ બાયસીરીયલ સહસંબંધ અને ડીપ લર્નિંગ-આધારિત પદ્ધતિઓનો ઉપયોગ કર્યો છે. આઇટમ પોઈન્ટ બાયસીરીયલ સહસંબંધ એ મૂળભૂત રીતે પ્રશ્નનો સ્કોર અને વિદ્યાર્થી માટે કુલ સ્કોર વચ્ચેનો પીયર્સન-પ્રોડક્ટ ક્ષણનો સહસંબંધ છે. તેથી, પ્રશ્ન સાચો અને ખોટો પ્રશ્ન મેળવનારા વિદ્યાર્થીઓના કુલ સ્કોર વચ્ચેનો તફાવત જેટલો વધારે છે, તે પ્રશ્ન માટે ભેદભાવ પરિબળ મૂલ્ય વધુ હશે. અમે ડીપ ન્યુરલ નેટવર્ક આર્કિટેક્ચરનો ઉપયોગ કરીને ક્લાસિકલ આઇટમ રિસ્પોન્સ થિયરીમાંથી 2PL મોડલ પણ અમલમાં મૂક્યું છે. વિદ્યાર્થીઓના પ્રયાસોના ડેટાને જોતાં, અમે પ્રશિક્ષિત DNN પરથી પ્રશ્નનું મુશ્કેલી સ્તર અને ભેદભાવ પરિબળ મેળવીએ છીએ. અહીં એક ઉદાહરણ છે કે કેવી રીતે પ્રશ્ન ભેદભાવ પરિબળનું મૂલ્ય શીખનારાઓની પ્રશ્ન પ્રયાસની ક્રિયાપ્રતિક્રિયાઓ સાથે બદલાય છે.

QDF = 0.11 QDF = 0.11	QDF = 0.80 QDF = 0.80
પ્રશ્ન 1: નીચેનામાંથી ઓછા આણ્વીય દળવાળા આલ્કોહોલ છે a. તમામ દ્રાવકોમાં દ્રાવ્ય (સાચો વિકલ્પ) b. પાણીમાં દ્રાવ્ય c. બધા દ્રાવકોમાં અદ્રાવ્ય d.ગરમ થવા પર પાણીમાં દ્રાવ્ય	પ્રશ્ન 2: એસ્પિરિન તરીકે પણ ઓળખાય છે a એસિટિલ સેલિસિલિક એસિડ (સાચો વિકલ્પ) b મિથાઈલ સેલિસિલિક એસિડ c. એસિટિલ સેલિસીલેટ d. મિથાઈલ સેલિસીલેટ

અહીં, x-અક્ષ કુલ સ્કોર કરેલા ગુણને દર્શાવે છે અને y-અક્ષ વિદ્યાર્થીઓની સામાન્ય સંખ્યા દર્શાવે છે. પીળી રેખા એ વિદ્યાર્થીઓના કુલ માર્કસનું વિતરણ સૂચવે છે કે જેમનો પ્રશ્ન ખોટો પડ્યો છે. વાદળી રેખા એ વિદ્યાર્થીઓના કુલ માર્કસનું વિતરણ સૂચવે છે કે જેમનો પ્રશ્ન સાચો પડ્યો છે. પ્રશ્ન 1 માં, પ્રશ્ન સાચા કરનાર વિદ્યાર્થીઓના કુલ ગુણ વચ્ચે ઉચ્ચ ઓવરલેપ છે, જ્યારે પ્રશ્ન 2 માં, ઓવરલેપ ખૂબ ઓછો છે અને તેથી, પ્રશ્ન 1 કરતા પ્રશ્ન 2 માટે પ્રશ્ન ભેદભાવ પરિબળનું મૂલ્ય વધારે છે. અંતિમ પ્રશ્ન ભેદભાવ પરિબળ મૂલ્ય એ ઉપરોક્ત પદ્ધતિ અને ટેસ્ટ પરિમાણોનું સરસ-ટ્યુન કરેલ પરિણામ છે.

Embibe બે અલગ અલગ ટેસ્ટમાં વિદ્યાર્થીઓના પ્રદર્શનની સરખામણી કરવા માટે એક વેલિડેશન પ્રયોગ હાથ ધર્યો:

1. બેઝલાઈન પોલિસી: અહીં, ગ્રાઉન્ડ ટ્રુથ ડેટાબેઝમાંથી ભેદભાવના પરિબળોને કારણે પ્રશ્નોની પસંદગી પૂર્વગ્રહ વિના કરવામાં આવે છે, જે મુશ્કેલીના સ્તરો અને અભ્યાસક્રમ કવરેજ પર અપેક્ષિત વિતરણ સુનિશ્ચિત કરે છે.
2. ભેદભાવ નીતિ: અહીં, ગ્રાઉન્ડ ટ્રુથ ડેટાસેટમાંથી પ્રશ્નો પસંદ કરવામાં આવ્યા છે, અભ્યાસક્રમ કવરેજની ખાતરી કરીને – દરેક પ્રકરણમાંથી ઓછામાં ઓછો એક પ્રશ્ન, અને ખાતરી કરો કે પ્રશ્નોના એકંદર ભેદભાવ પરિબળ કોઈપણ મુશ્કેલીના સ્તરે મહત્તમ છે.

પ્રયોગ માટે, કુલ 312 વિદ્યાર્થીઓને 75 પ્રશ્નો ધરાવતી પરીક્ષા આપવા માટે પસંદ કરવામાં આવ્યા હતા. બે આંકડાકીય મેટ્રિક્સ ટેસ્ટના પ્રદર્શનની તુલના કરે છે:

1. RMSE નો ઉપયોગ કરીને મૂલ્યાંકન: આઇટમ રિસ્પોન્સ થિયરી મોડલનો ઉપયોગ કરીને, અમે પ્રશ્નોના સાચા જવાબ આપતા મૂલ્યાંકન સેટમાં દરેક વિદ્યાર્થીની સંભાવનાની આગાહી કરીએ છીએ અને જો વિદ્યાર્થીઓએ જનરેટ કરેલા ટેસ્ટ પેપરનો પ્રયાસ કરવો હોય તો તેમના સ્કોરમાંથી સરેરાશ ક્ષમતાની ગણતરી કરીએ છીએ. અમે આઇટમ રિસ્પોન્સ થિયરી મોડલમાંથી દરેક વિદ્યાર્થીની ગ્રાઉન્ડ ટ્રુથ ક્ષમતા પણ નક્કી કરીએ છીએ. છેલ્લે, અમે ગ્રાઉન્ડ ટ્રુથ એબિલિટી અને સચોટતા માપવાની અનુમાનિત ક્ષમતા વચ્ચે રુટ મીન સ્ક્વેર એરરની ગણતરી કરીએ છીએ.
2. Spearman’s ρ નો ઉપયોગ કરીને મૂલ્યાંકન: અહીં, અમે ગ્રાઉન્ડ ટ્રુથ ડેટા અને જનરેટેડ ટેસ્ટમાંથી મેળવેલી વિદ્યાર્થીઓની ક્ષમતાઓને અલગ કરીએ છીએ અને બે રેન્ક વચ્ચે ρ ક્રમ સહસંબંધ નક્કી કરીએ છીએ.

નીતિ	RMSE	રેન્ક કોર ρ
આધારરેખા નીતિ	0.844	0.59
ભેદભાવ નીતિ	0.549	0.83

ઉપરાંત, અમને જાણવા મળ્યું કે ભેદભાવ નીતિ ટેસ્ટ બેઝલાઈન પોલિસી ટેસ્ટ કરતાં 24.8% સ્કોર્સનો વધુ સારો ફેલાવો આપે છે (વિદ્યાર્થીઓના 95 પર્સન્ટાઈલ પર સ્કોર – 5 પર્સન્ટાઈલ પર સ્કોર)

આથી, ટેસ્ટમાં ઉચ્ચ પ્રશ્ન ભેદભાવ પરિબળના પ્રશ્નોનો ઉપયોગ સમાન લક્ષિત શિક્ષણ લક્ષ્યો હેઠળ વિદ્યાર્થીઓમાં તફાવત કરવાની તેની શક્તિના સંદર્ભમાં ટેસ્ટની ગુણવત્તામાં સુધારો કરે છે. ઉપરાંત, આનો ઉપયોગ કોન્ટેન્ટની ગુણવત્તા સુધારવા માટે કરવામાં આવે છે જ્યાં અમે નકારાત્મક પ્રશ્ન ભેદભાવ પરિબળ સાથેના પ્રશ્નોને ઓળખીએ છીએ અને તેમની સુસંગતતા અને સ્પષ્ટતામાં સુધારો કરીએ છીએ.

સંદર્ભ

1. સોમા ધવલ, ચિરાગ ભાટિયા, જોય બોઝ, કેયુર ફાલદુ, અદિતિ અવસ્થી, “ડાયગ્નોસ્ટિક એસેસમેન્ટનું ઓટો જનરેશન એન્ડ ક્વોલિટી ઈવોલ્યુશન,” જુલાઈ 2020, EDM.
2. વિન્સેન્ટ લેબ્લેન્ક, માઈકલ એ.એ. કોક્સ, “શાળાની પરીક્ષાના સંદર્ભમાં બિંદુ-બાયસીરીયલ સહસંબંધ ગુણાંકનું અર્થઘટન,” જાન્યુઆરી 2017, મનોવિજ્ઞાન 13(1):46-56 માટે માત્રાત્મક પદ્ધતિઓ
3. લિન્ડેન, ડબલ્યુ. ડી. અને આર. હેમ્બલટન. “આધુનિક આઈટમ રિસ્પોન્સ થિયરીની હેન્ડબુક.” (1997), બાયોમેટ્રિક્સ 54:1680
4. દેસાઈ, નિશિત, કેયુર ફાલદુ, અચિંત થોમસ અને અદિતિ અવસ્થી. “એસેસમેન્ટ પેપર બનાવવા અને તેની ગુણવત્તા માપવા માટેની સિસ્ટમ અને પદ્ધતિ.” યુ.એસ. પેટન્ટ એપ્લિકેશન 16/684,434, ઑક્ટોબર 1, 2020 ના રોજ ફાઇલ કરવામાં આવી.
5. “ડાયગ્નોસ્ટિક ટેસ્ટ અને તેમની ગુણવત્તા મૂલ્યાંકનનું સ્વયંસંચાલિતકરણ – EDM:2020”, EDM 2020 રજુઆત, જુલાઈ 2020, https://www.youtube.com/watch?v=7wZz0ckqWFs
6. ફાલદુ, કેયુર, અચિંત થોમસ અને અદિતિ અવસ્થી. “વર્તણૂક વિશ્લેષણ અને ભલામણો માટેની સિસ્ટમ અને પદ્ધતિ.” યુ.એસ. પેટન્ટ એપ્લિકેશન 16/586,525, ઑક્ટોબર 1, 2020 ના રોજ ફાઇલ કરવામાં આવી.