ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶ
ಉದ್ದೇಶಿತ ಲರ್ನಿಂಗ್ ಔಟ್ಕಮ್ಸ್ನೊಂದಿಗೆ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಲು ಕಲಿಕೆದಾರರು ಬಳಸುವ ಅತ್ಯಂತ ಆದ್ಯತೆಯ ಮೌಲ್ಯಮಾಪನ ತಂತ್ರವೆಂದರೆ ಟೆಸ್ಟ್ಗಳು. ಆದ್ದರಿಂದ, ವಿದ್ಯಾರ್ಥಿಗಳ ಕಲಿಕೆಯ ಅಂತರವನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ವಿದ್ಯಾರ್ಥಿಗಳ ಕಲಿಕೆಯನ್ನು ಹೆಚ್ಚಿಸಲು ಟೆಸ್ಟ್ಗಳು ನ್ಯಾಯಯುತ ಮತ್ತು ಪರಿಣಾಮಕಾರಿಯಾಗಿರಬೇಕು. ಈ ಗುರಿಗಳನ್ನು ಪೂರೈಸುವ ಪರೀಕ್ಷೆಯ ಸಾಮರ್ಥ್ಯವು ಟೆಸ್ಟ್ನ ಪ್ರತಿಯೊಂದು ಪ್ರಶ್ನೆಗೂ ಎಷ್ಟು ಪ್ರಸ್ತುತವಾಗಿದೆ ಎಂಬುದನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ. ಹೀಗಾಗಿ ಟೆಸ್ಟ್ನ ವಿಶ್ವಾಸಾರ್ಹತೆಯನ್ನು ಪ್ರಶ್ನೆ ವಿಶ್ಲೇಷಣೆಯಿಂದ ಹೆಚ್ಚಿಸಬಹುದು, ಅಲ್ಲಿ ಪ್ರತಿಪ್ರಶ್ನೆ ಅಥವಾ ಸಾಮಗ್ರಿಗೆ ವಿದ್ಯಾರ್ಥಿಗಳ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಪರೀಕ್ಷೆ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಬಳಸಲಾಗುತ್ತದೆ. ಪ್ರಶ್ನೆ ವಿಶ್ಲೇಷಣೆ ಇಲ್ಲಿ ಒಂದು ಪ್ರಮುಖ ವಿಧಾನವೆಂದರೆ ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸ. ಇದು ವಿಭಿನ್ನ ಕಲಿಯುವವರ ನಡುವಿನ ವ್ಯತ್ಯಾಸದ ಪ್ರಶ್ನೆಯ ಶಕ್ತಿಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶವು ಒಂದು ಸೂಚ್ಯಂಕವಾಗಿದ್ದು, ಒಂದು ಪ್ರಶ್ನೆಯು ವಿಭಿನ್ನ ಬಳಕೆದಾರರ ಸಮೂಹಗಳ ನಡುವೆ ಎಷ್ಟು ವ್ಯತ್ಯಾಸವನ್ನು ಮಾಡಬಹುದು ಎಂಬುದನ್ನು ಅಳೆಯುತ್ತದೆ. ಕಡಿಮೆ ಅಂಕ ಗಳಿಸುವವರಿಗಿಂತ ಹೇಗೆ ಹೆಚ್ಚು ಅಂಕ ಪಡೆದವರು ಸರಿಯಾದ ಪ್ರಶ್ನೆಯನ್ನು ಪರಿಹರಿಸುವ ಸಾಧ್ಯತೆ ಇದೆ ಎಂಬುದನ್ನು ಇದು ಚಿತ್ರಿಸುತ್ತದೆ.
ಪ್ರಶ್ನೆಗಳ ವ್ಯತ್ಯಾಸದ ಅಂಶವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು, Embibe ಸಾಂಪ್ರದಾಯಿಕ ಅಂಕಿಅಂಶಗಳನ್ನು ಬಳಸುತ್ತದೆ – ಪ್ರಶ್ನೆ ಬಿಂದುವಿನ ದ್ವಿಪಕ್ಷೀಯ ಪರಸ್ಪರ ಸಂಬಂಧ ಮತ್ತು ಆಳವಾದ ಕಲಿಕೆಯ ಆಧಾರಿತ ವಿಧಾನಗಳು. ಪ್ರಶ್ನೆ ಬಿಂದುವಿನ ದ್ವಿಪಕ್ಷೀಯ ಸಂಬಂಧವು ಮೂಲತಃ ಪಿಯರ್ಸನ್-ಗುಣಲಬ್ದ ಕ್ಷಣ, ಪ್ರಶ್ನೆಯ ಸ್ಕೋರ್ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿಯ ಒಟ್ಟು ಸ್ಕೋರ್ ನಡುವಿನ ಪರಸ್ಪರ ಸಂಬಂಧವಾಗಿದೆ. ಆದ್ದರಿಂದ ಪ್ರಶ್ನೆಯನ್ನು ಸರಿಯಾಗಿ ಪರಿಹರಿಸಿದ ಮತ್ತು ಒಟ್ಟು ತಪ್ಪಾದ ಪ್ರಶ್ನೆಯನ್ನು ಪರಿಹರಿಸಿದ ವಿದ್ಯಾರ್ಥಿಗಳ ಒಟ್ಟು ಅಂಕಗಳ ನಡುವಿನ ಹೆಚ್ಚಿನ ವ್ಯತ್ಯಾಸ, ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶದ ಮೌಲ್ಯವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ನಾವು ಆಳವಾದ ನರತಂತು ಜಾಲದ ವಿನ್ಯಾಸ ಬಳಸಿ ಕ್ಲಾಸಿಕಲ್ ಪ್ರಶ್ನೆ ಪ್ರತಿಕ್ರಿಯೆ ಸಿದ್ಧಾಂತದಿಂದ 2PL ಮಾದರಿಯನ್ನು ಜಾರಿಗೊಳಿಸಿದ್ದೇವೆ. ವಿದ್ಯಾರ್ಥಿಗಳ ಪ್ರಯತ್ನದ ದತ್ತಾಂಶವನ್ನು ನೀಡಿದರೆ, ನಾವು ಪ್ರಶ್ನೆಯ ತೂಕ, ಕಠಿಣತೆ ಮತ್ತು ವ್ಯತ್ಯಾಸದ ಅಂಶವನ್ನು ತರಬೇತಿ ಪಡೆದ DNN ಸಹಾಯದಿಂದ ಪಡೆಯುತ್ತೇವೆ. ಕಲಿಯುವವರ ಪ್ರಶ್ನೆ ಪ್ರಯತ್ನದ ಪರಸ್ಪರ ಕ್ರಿಯೆಯೊಂದಿಗೆ ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶದ ಮೌಲ್ಯವು ಹೇಗೆ ಬದಲಾಗುತ್ತದೆ ಎಂಬುದಕ್ಕೆ ಒಂದು ಉದಾಹರಣೆ ಇಲ್ಲಿದೆ.
QDF = 0.11 | QDF = 0.80 |
---|---|
ಪ್ರಶ್ನೆ 1: ಕಡಿಮೆ ಆಣ್ವಿಕ ತೂಕದ ಆಲ್ಕೊಹಾಲ್ಗಳು a. ಎಲ್ಲಾ ದ್ರಾವಕಗಳಲ್ಲಿ ಕರಗುತ್ತದೆ (ಸರಿಯಾದ ಆಯ್ಕೆ) b. ನೀರಿನಲ್ಲಿ ಕರಗುತ್ತದೆ c. ಎಲ್ಲಾ ದ್ರಾವಕಗಳಲ್ಲಿ ಕರಗುವುದಿಲ್ಲ d. ಬಿಸಿಮಾಡಿದಾಗ ನೀರಿನಲ್ಲಿ ಕರಗುತ್ತದೆ | ಪ್ರಶ್ನೆ 2: ಆಸ್ಪಿರಿನ್ ಅನ್ನು ಹೀಗೂ ಕರೆಯುತ್ತಾರೆ a. ಅಸಿಟೈಲ್ ಸ್ಯಾಲಿಸಿಲಿಕ್ ಆಮ್ಲ (ಸರಿಯಾದ ಆಯ್ಕೆ) b. ಮಿಥೈಲ್ ಸ್ಯಾಲಿಸಿಲಿಕ್ ಆಮ್ಲ c. ಅಸಿಟೈಲ್ ಸ್ಯಾಲಿಸಿಲೇಟ್ d. ಮಿಥೈಲ್ ಸ್ಯಾಲಿಸಿಲೇಟ್ |
ಕೋಷ್ಟಕ 1: ಕಡಿಮೆ QDF ಮತ್ತು ಹೆಚ್ಚಿನ QDF ಮೌಲ್ಯಗಳೊಂದಿಗೆ ಸರಿಯಾದ ಮತ್ತು ತಪ್ಪಾದ ಪ್ರಶ್ನೆಗಳಿಗೆ ಒಟ್ಟು ಅಂಕಗಳ ವಿತರಣೆಯ ನಡುವಿನ ಹೋಲಿಕೆ
ಇಲ್ಲಿ, x-ಅಕ್ಷವು ಗಳಿಸಿದ ಒಟ್ಟು ಅಂಕಗಳನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ ಮತ್ತು y-ಅಕ್ಷವು ವಿದ್ಯಾರ್ಥಿಗಳ ಸಾಮಾನ್ಯ ಸಂಖ್ಯೆಯನ್ನು ಪ್ರತಿನಿಧಿಸುತ್ತದೆ. ಹಳದಿ ರೇಖೆಯು ಪ್ರಶ್ನೆಯನ್ನು ತಪ್ಪಾಗಿ ಪಡೆದ ವಿದ್ಯಾರ್ಥಿಗಳ ಒಟ್ಟು ಅಂಕಗಳ ವಿತರಣೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ನೀಲಿ ರೇಖೆಯು ಪ್ರಶ್ನೆಯನ್ನು ಸರಿಯಾಗಿ ಪರಿಹರಿಸಿದ ವಿದ್ಯಾರ್ಥಿಗಳ ಒಟ್ಟು ಅಂಕಗಳ ವಿತರಣೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಪ್ರಶ್ನೆ 1ರಲ್ಲಿ ಪ್ರಶ್ನೆ ಸರಿಯಾಗಿ ಪಡೆದ ವಿದ್ಯಾರ್ಥಿಗಳ ಒಟ್ಟು ಅಂಕಗಳ ನಡುವೆ ಹೆಚ್ಚಿನ ಅಧಿವ್ಯಾಪನವಿದೆ, ಆದರೆ ಪ್ರಶ್ನೆ 2 ರಲ್ಲಿ ಅಧಿವ್ಯಾಪನ ಬಹಳ ಕಡಿಮೆ ಇದೆ ಆದ್ದರಿಂದ ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶದ ಮೌಲ್ಯ ಪ್ರಶ್ನೆ 1 ಕ್ಕಿಂತ ಪ್ರಶ್ನೆ 2ರಲ್ಲಿ ಹೆಚ್ಚಾಗಿದೆ. ಅಂತಿಮ ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶವು ಮೇಲಿನ ವಿಧಾನ ಮತ್ತು ಪರೀಕ್ಷಾ ನಿಯತಾಂಕಗಳ ತೀಕ್ಷ್ಣವಾದ ಫಲಿತಾಂಶವಾಗಿದೆ.
Embibe ಎರಡು ವಿಭಿನ್ನ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ವಿದ್ಯಾರ್ಥಿಗಳ ಕಾರ್ಯ ಕ್ಷಮತೆಯನ್ನು ಹೋಲಿಸಲು ಮೌಲ್ಯಮಾಪನ ಪ್ರಯೋಗವನ್ನು ನಡೆಸಿತು:
- ಮೂಲಾಧಾರ ನೀತಿ: ಇಲ್ಲಿ, ಮೂಲ ಸತ್ಯ ದತ್ತಸಂಚಯದಿಂದ ವ್ಯತ್ಯಾಸದ ಅಂಶಗಳ ಕಾರಣದಿಂದಾಗಿ ಪ್ರಶ್ನೆಗಳನ್ನು ಪಕ್ಷಪಾತವಿಲ್ಲದೆ ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ, ಕ್ಲಿಷ್ಟತೆಯ ಮಟ್ಟಗಳು ಮತ್ತು ಪಠ್ಯಕ್ರಮ ವ್ಯಾಪ್ತಿಯ ಮೇಲೆ ನಿರೀಕ್ಷಿತ ವಿತರಣೆಯನ್ನು ಖಾತ್ರಿಪಡಿಸುತ್ತದೆ.
- ವ್ಯತ್ಯಾಸದ ಒಂದೇ ನೀತಿ: ಇಲ್ಲಿ, ಮೂಲ ಸತ್ಯ ಡೇಟಾ ಸೆಟ್ಗಳಿಂದ ಪ್ರಶ್ನೆಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗುತ್ತದೆ ಇದರಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಅಧ್ಯಾಯದಿಂದ ಕನಿಷ್ಠ ಒಂದು ಪ್ರಶ್ನೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಕು ಇದು ಪಠ್ಯಕ್ರಮ ವ್ಯಾಪ್ತಿಯನ್ನು ಖಾತ್ರಿಪಡಿಸುತ್ತದೆ ಮತ್ತು ಪ್ರಶ್ನೆಗಳ ಒಟ್ಟಾರೆ ವ್ಯತ್ಯಾಸದ ಅಂಶವು ಯಾವುದೇ ಕ್ಲಿಷ್ಟತೆಯ ಮಟ್ಟದಲ್ಲಿ ಗರಿಷ್ಠವಾಗಿದೆಯೇ ಎಂದು ಖಾತ್ರಿಪಡಿಸಿಕೊಳ್ಳಬೇಕು.
ಪ್ರಯೋಗಕ್ಕಾಗಿ, ಒಟ್ಟು 312 ವಿದ್ಯಾರ್ಥಿಗಳನ್ನು 75 ಪ್ರಶ್ನೆಗಳನ್ನು ಒಳಗೊಂಡ ಪರೀಕ್ಷೆಯನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ಆಯ್ಕೆಮಾಡಲಾಗಿದೆ. ಪರೀಕ್ಷೆಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ತಿಳಿಯಲು ಎರಡು ಅಂಕಿಅಂಶಗಳನ್ನು ಹೋಲಿಸಲಾಗಿದೆ.
- RMSE ಬಳಸಿ ಮೌಲ್ಯಮಾಪನ: ಪ್ರಶ್ನೆ ಪ್ರತಿಕ್ರಿಯೆ ಸಿದ್ಧಾಂತ ಮಾದರಿಯನ್ನು ಬಳಸಿ, ಮೌಲ್ಯಮಾಪನ ಗುಂಪುಗಳಲ್ಲಿ ನಾವು ಪ್ರತಿ ವಿದ್ಯಾರ್ಥಿಯ ಸಂಭವನೀಯತೆಯನ್ನು ಸರಿಯಾಗಿ ಊಹಿಸುತ್ತೇವೆ ಮತ್ತು ವಿದ್ಯಾರ್ಥಿಗಳು ರಚಿಸಿದ ಟೆಸ್ಟ್ ಪೇಪರ್ಗಳನ್ನು ಪ್ರಯತ್ನಿಸಿದರೆ ವಿದ್ಯಾರ್ಥಿಗಳ ಅಂಕಗಳಿಂದ ಸರಾಸರಿ ಸಾಮರ್ಥ್ಯವನ್ನು ಲೆಕ್ಕಹಾಕಬಹುದು. ಐಟಂ ಪ್ರತಿಕ್ರಿಯೆ ಸಿದ್ಧಾಂತ ಮಾದರಿಯಿಂದ ನಾವು ಪ್ರತಿ ವಿದ್ಯಾರ್ಥಿಯ ಮೂಲ ಸತ್ಯ ಸಾಮರ್ಥ್ಯವನ್ನು ಸಹ ನಿರ್ಧರಿಸುತ್ತೇವೆ. ಅಂತಿಮವಾಗಿ, ನಾವು ಮೂಲ ಸತ್ಯ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ನಿಖರತೆಯನ್ನು ಅಳೆದು ಊಹಿಸಿದ ಸಾಮರ್ಥ್ಯದ ನಡುವಿನ ಮೂಲ ಸರಾಸರಿ ವರ್ಗ ದೋಷವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತೇವೆ.
- ಸ್ಪಿಯರ್ಮನ್ನ ρ ಬಳಸಿ ಮೌಲ್ಯಮಾಪನ: ಇಲ್ಲಿ, ನಾವು ಮೂಲಸತ್ಯ ದತ್ತಾಂಶ ಮತ್ತು ರಚಿಸಿದ ಪರೀಕ್ಷೆಯಿಂದ ಪಡೆದ ವಿದ್ಯಾರ್ಥಿಗಳ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ವಿಂಗಡಿಸುತ್ತೇವೆ ಮತ್ತು ಎರಡು ರ್ಯಾಂಕ್ಗಳ ನಡುವಿನ ಶ್ರೇಣಿಯ ಪರಸ್ಪರ ಸಂಬಂಧವನ್ನು ρ ನಿರ್ಧರಿಸುತ್ತೇವೆ.
ನೀತಿ | RMSE | ರ್ಯಾಂಕ್ ಕಾರ್ ρ |
ಮೂಲಾಧಾರ ನೀತಿ | 0.844 | 0.59 |
ಒಂದೇ ತಾರತಮ್ಯ ನೀತಿ | 0.549 | 0.83 |
ಅಲ್ಲದೆ, ಮೂಲಾಧಾರ ನೀತಿ ಪರೀಕ್ಷೆಗಿಂತ ವ್ಯತ್ಯಾಸದ ಒಂದೇ ನೀತಿ ಪರೀಕ್ಷೆಯು 24.8% ಉತ್ತಮ ಅಂಕಗಳು ಹರಡುವಿಕೆಯನ್ನು ನೀಡುತ್ತದೆ (ವಿದ್ಯಾರ್ಥಿಗಳ 95ನೇ ಶೇಕಡ ಅಂಕ -5ನೇ ಶೇಕಡ ಅಂಕ) ಎಂದು ನಾವು ಕಂಡುಹಿಡಿದಿದ್ದೇವೆ .
ಆದ್ದರಿಂದ ಪರೀಕ್ಷೆಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶದ ಪ್ರಶ್ನೆಗಳನ್ನು ಬಳಸುವುದರಿಂದ ಅದೇ ಉದ್ದೇಶದ ಕಲಿಕೆಯ ಗುರಿಗಳ ಅಡಿಯಲ್ಲಿ ವಿದ್ಯಾರ್ಥಿಗಳ ನಡುವೆ ವ್ಯತ್ಯಾಸವನ್ನು ಗುರುತಿಸುವ ಸಾಮರ್ಥ್ಯದ ದೃಷ್ಟಿಯಿಂದ ಪರೀಕ್ಷೆ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. ಅಲ್ಲದೆ ಇವುಗಳು ವಿಷಯದ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ಹತೋಟಿಯಲ್ಲಿದೆ, ಅಲ್ಲಿ ನಾವು ಋಣಾತ್ಮಕ ಪ್ರಶ್ನೆ ವ್ಯತ್ಯಾಸದ ಅಂಶದೊಂದಿಗೆ ಪ್ರಶ್ನೆಗಳನ್ನು ಗುರುತಿಸುತ್ತೇವೆ ಮತ್ತು ಅವುಗಳ ಪ್ರಸ್ತುತತೆ ಮತ್ತು ಸ್ಪಷ್ಟತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತವೆ.
ಉಲ್ಲೇಖಗಳು:
- “ಸೋಮ ಧವಲಾ, ಚಿರಾಗ್ ಭಾಟಿಯಾ, ಜಾಯ್ ಬೋಸ್, ಕೆಯೂರ್ ಫಾಲ್ದು, ಅದಿತಿ ಅವಸ್ತಿ, “ಆಟೊಜನರೇಶನ್ ಆಫ್ ಡಯಗ್ನೋಸ್ಟಿಕ್ ಟೆಸ್ಟ್ ಆಂಡ್ ದೆಯರ್ ಕ್ವಾಲಿಟಿ ಎವಾಲ್ಯುಯೇಶನ್,” ಜುಲೈ 2020, EDM.
- ವಿನ್ಸೆಂಟ್ ಲೆಬ್ಲಾಂಕ್, ಮೈಕೆಲ್ ಎ. ಎ. ಕಾಕ್ಸ್, “ನ್ಯೂಟರ್ಪ್ರೆಟಷನ್ ಆಫ್ ದಿ ಪಾಯಿಂಟ್-ಬಿಸೇರಿಯಾಲ್ ಕೊರಿಲೇಷನ್ ಕೊಎಫಿಷಿಯೆಂತ್ ಇನ್ ದಿ ಕಾಂಟೆಕ್ಸ್ಟ್ ಆಫ್ ಎ ಸ್ಕೂಲ್ ಎಕ್ಸಾಮಿನೇಷನ್,” ಜನವರಿ 2017, ಸೈಕಾಲಜಿ 13(1):46-56 ಕ್ವಾಂಟಿಟೇಟಿವ್ ಮೆಥಡ್ಸ್
- ಲಿಂಡೆನ್, W. D., ಮತ್ತು R. ಹ್ಯಾಂಬಲ್ಟನ್. “ಹ್ಯಾಂಡ್ಬುಕ್ ಆಫ್ ಮಾಡರ್ನ್ ಐಟಮ್ ರೆಸ್ಪಾನ್ಸ್ ಥಿಯರಿ.” (1997), ಬಯೋಮೆಟ್ರಿಕ್ಸ್ 54:1680″