ഉത്തരാധിഷ്ഠിത ചോദ്യങ്ങളുടെ സ്വയമേവയുള്ള മൂല്യനിർണ്ണയം

ഉത്തരാധിഷ്ഠിത ചോദ്യങ്ങളുടെ സ്വയമേവയുള്ള മൂല്യനിർണ്ണയം

ബഹുഭൂരിപക്ഷം മത്സര പരീക്ഷകളിലും പങ്കെടുക്കുന്നവർ ഒരു കൂട്ടം ഉത്തര ചോയ്‌സുകളിൽ നിന്ന് ഒന്നോ അതിലധികമോ ശരിയായ ഉത്തരങ്ങൾ തിരഞ്ഞെടുക്കേണ്ട ചോദ്യങ്ങൾ അല്ലെങ്കിൽ പങ്കെടുക്കുന്നവർ ഒരു സംഖ്യാ മൂല്യം നൽകേണ്ട ചോദ്യങ്ങൾ പോലുള്ള ഒബ്ജക്റ്റീവ് തരത്തിലുള്ള ചോദ്യങ്ങൾ നിര്‍ധാരണം ചെയ്യേണ്ടതുണ്ട് . ഒബ്ജക്റ്റീവ് തരത്തിലുള്ള ചോദ്യങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ള ടെസ്റ്റുകളുടെ മൂല്യനിർണ്ണയം വളരെ സത്യസന്ധമാണ്.

എന്നിരുന്നാലും വാചക ഉത്തരങ്ങളുള്ള ചോദ്യങ്ങൾ ഉൾപ്പെടുന്ന നിരവധി പരീക്ഷകൾ ഉണ്ട്; ഉദാഹരണത്തിന് ബോർഡ് പരീക്ഷകൾ. ഉപന്യാസ സ്കോറിംഗ് നടത്തുന്ന ചില വിജയകരമായ വഴികളുണ്ടെങ്കിലും സ്വതന്ത്ര വാചക ഉത്തരങ്ങളുടെ മൂല്യനിർണ്ണയം ഇപ്പോഴും ഒരു തുറന്ന ഗവേഷണ പ്രശ്നമാണ്[7]. ആവശ്യാനുസരണം പഠന ഫലങ്ങൾ നൽകുന്നതിനുള്ള ഒരു AI പ്ലാറ്റ്‌ഫോമാണ് Embibe. കൂടാതെ സ്വതന്ത്ര-വാചക ഉത്തരങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ള ചോദ്യങ്ങൾ ഉപയോഗിച്ച് വ്യക്തിഗതമാക്കിയ ടെസ്റ്റുകൾ സ്വയമേവ സൃഷ്‌ടിക്കുന്നതിനും സാന്ദർഭികമാക്കിയ വിജ്ഞാന ഗ്രാഫുകളിലുടനീളം വിദ്യാർത്ഥികളുടെ ആശയ വൈദഗ്ധ്യം വിലയിരുത്തുന്നതിനും ഇവ സഹായിക്കും[6][8]. വ്യത്യസ്‌ത പഠന ഡൊമെയ്‌നുകളിലുടനീളമുള്ള വ്യത്യസ്‌ത രീതികളുടെ സൗജന്യ വാചക ഉത്തരങ്ങൾ മൂല്യനിർണയം നടത്താൻ  കഴിയുന്ന ഒരു ജനറിക് ഇവാലുവേറ്റർ വികസിപ്പിക്കുന്നതിന് വിപുലമായ NLP/NLU ഉപയോഗിക്കേണ്ടതുണ്ട്, ഇത് Embibe ന് താൽപ്പര്യമുള്ള ഒരു മേഖലയാണ്.

പ്രശ്നത്തെ നമുക്ക് രണ്ട് ഉപപ്രശ്നങ്ങളായി തിരിക്കാം.

1. എൻ്റിറ്റി ലിങ്കിംഗ്
2. സെമാൻ്റിക് സമാനത

എൻ്റിറ്റി ലിങ്കിംഗ്

എൻ്റിറ്റി ലിങ്കിംഗിൽ, നമുക്ക് ഹ്രസ്വ ഫോമുകൾ/ചുരുക്കെഴുത്തുകൾ, aka (എന്നും അറിയപ്പെടുന്നു) തരം എൻ്റിറ്റികൾ എന്നിവ ഉൾപ്പെടുത്താം. ഉദാഹരണത്തിന്, 

“PMC “: “പോളൻ മദർ സെൽ”,

“MMC “: “മെഗാസ്പോർ മദർ സെൽ”,

“PEN”: “പ്രൈമറി എൻഡോസ്പേം ന്യൂക്ലിയസ്”,

“PEC”: “പ്രൈമറി എൻഡോസ്പേം സെൽ”,

“LH “: “ലൂട്ടിനൈസിംഗ് ഹോർമോൺ”,

“FSH “: “ഫോളിക്കിൾ സ്റ്റിമുലേറ്റിംഗ് ഹോർമോൺ” 

ഇതുപോലുള്ള ചുരുക്കെഴുത്തുകളും

അതുപോലെ,

“mushroom”: “toadstool”,

“germs”: “microbes”,

“bacteria”: “microbes”,

“yeast”: “microbes”,

“renewable”: “inexhaustible”,

“traits”: “characteristics”, പോലുള്ള aka കളും.

നമുക്ക് രാസനാമങ്ങളുടെ എൻ്റിറ്റികളെ മാപ്പ് ചെയ്യാനും കഴിയും,

‘(NH4)(NO3)’ : അമോണിയം നൈട്രേറ്റ്’,

‘(NH4)2C2O4’ : അമോണിയം ഓക്സലേറ്റ്,

‘Ag2O’ : സിൽവർ ഓക്സൈഡ്,

‘Ag2SO4’ : സിൽവർ സൾഫേറ്റ്,

‘Al(NO3)3’ : ‘അലുമിനിയം നൈട്രേറ്റ്’,

ഈ മാപ്പിംഗുകൾ ഉപയോഗിച്ച്, നമുക്ക് ചുരുക്കെഴുത്തുകളും സമാന പദങ്ങളും മാപ്പ് ചെയ്യാം, തുടർന്ന് അവയെ യഥാർത്ഥ ഉത്തരങ്ങളുമായി പൊരുത്തപ്പെടുത്താം.

സെമാൻ്റിക് സമാനത

രണ്ട് വാക്യങ്ങൾ ഒരേ കാര്യം അർത്ഥമാക്കാം. ഡൊമെയ്‌ൻ-ഇൻഫ്യൂസ്ഡ് വിജ്ഞാനം ഉപയോഗിച്ച് ഞങ്ങൾ സെമാൻ്റിക് സമാനത സ്ഥാപിക്കുകയും സ്വാഭാവിക ഭാഷാ ധാരണയുടെയും വിജ്ഞാനം ഉൾക്കൊള്ളുന്ന പഠനത്തിൻ്റെയും ഞങ്ങളുടെ അത്യാധുനിക ഗവേഷണം ഉപയോഗിച്ച് ഭാഷാ മോഡൽ സാധ്യതകൾ അനുമാനിക്കുകയും ചെയ്യുന്നു [3][4][5].

നമുക്ക് വിദ്യാർത്ഥിയുടെ ഉത്തരത്തിൻ്റെ ഉൾച്ചേർക്കൽ നേടുകയും യഥാർത്ഥ ഉത്തരവുമായി എംബെഡ്ഡിംഗുമായി താരതമ്യം ചെയ്യുകയും ചെയ്യാം. അവയ്‌ക്കിടയിലുള്ള കോസൈൻ ദൂരം നിശ്ചിത പരിധിയേക്കാൾ കുറവാണെങ്കിൽ, നമുക്ക് അവയും സമാനമായിട്ടുള്ളതും പരിഗണിച്ച് ഉത്തരം ശരിയാണെന്ന് അടയാളപ്പെടുത്താം.

BERT[1], RoBERTa[2] പോലെയുള്ള സ്വയം ശ്രദ്ധാധിഷ്ഠിതമായ മോഡലുകൾ നമുക്ക് വിദ്യാർത്ഥിയുടെ ഉത്തരത്തിൻ്റെയും ശരിയായ ഉത്തരത്തിൻ്റെയും ഉൾച്ചേർക്കലുകൾ നേടാനും അവ തമ്മിലുള്ള സാമ്യം ലഭിക്കുന്നതിന് അവ തമ്മിലുള്ള കോസൈൻ ദൂരം കണക്കാക്കാനും കഴിയും.

References

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”

[2] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov. “RoBERTa: A Robustly Optimized BERT Pretraining Approach”

[3] Faldu, Keyur, Amit Sheth, Prashant Kikani, and Hemang Akabari. “KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding.” arXiv preprint arXiv:2104.08145 (2021).

[4] Gaur, Manas, Ankit Desai, Keyur Faldu, and Amit Sheth. “Explainable AI Using Knowledge Graphs.” In ACM CoDS-COMAD Conference. 2020.

[5] Gaur, Manas, Keyur Faldu, and Amit Sheth. “Semantics of the Black-Box: Can knowledge graphs help make deep learning systems more interpretable and explainable?.” IEEE Internet Computing 25, no. 1 (2021): 51-59.

[6] Dhavala, Soma, Chirag Bhatia, Joy Bose, Keyur Faldu, and Aditi Avasthi. “Auto Generation of Diagnostic Assessments and Their Quality Evaluation.” International Educational Data Mining Society (2020).

[7] “#RAISE2020 – Embibe – AI-Powered learning outcomes platform for personalized education”, MyGov India, Oct 2020, https://www.youtube.com/watch?v=kuwFtHgN3qU

[8] Faldu, Keyur, Achint Thomas, and Aditi Avasthi. “System and method for recommending personalized content using contextualized knowledge base.” U.S. Patent Application 16/586,512, filed October 1, 2020.