মুক্ত পাঠ্য উত্তর ভিত্তিক প্রশ্নগুলির স্বয়ংক্রিয় মূল্যায়ন

বেশিরভাগ প্রতিযোগিতামূলক পরীক্ষায় অংশগ্রহণকারীদের অব্জেক্টিভ প্রশ্নগুলি সমাধান করার প্রয়োজন হয়, যেমন নির্দিষ্ট একটি প্রশ্নের জন্য একটি সেট থেকে এক বা একাধিক সঠিক উত্তর বেছে নেওয়া বা একটি সংখ্যাসূচক মান বসানো। অব্জেক্টিভ প্রশ্নের ভিত্তিতে হওয়া টেস্টের মূল্যায়ণ খুবই সরল হয়।

তবে, এই পরীক্ষাগুলির মধ্যে অনেকগুলিতে (যেমন বোর্ড পরীক্ষা) মুক্ত পাঠ্য উত্তরভিত্তিক প্রশ্ন থাকে। প্রবন্ধ স্কোরিং লক্ষ্য করে মুক্ত পাঠ্য উত্তরগুলির মূল্যায়ন এখনও একটি উন্মুক্ত গবেষণা সমস্যা যার কিছু সফল সমাধানও আছে। Embibe হল একটি কৃত্রিম বুদ্ধিমত্তা (AI) প্ল্যাটফর্ম যা বৃহৎ মাপের শিক্ষার ফলাফল প্রদান করে [7] এবং এটি মুক্ত পাঠ্য উত্তরভিত্তিক প্রশ্নের স্বয়ংক্রি টেস্ট তৈরী করতে এবং পাঠ্য এর সাথে প্রাসঙ্গিক জ্ঞান গ্রাফ সম্বন্ধে ছাত্রদের ধারণা আয়ত্তের মূল্যায়ন করতে সাহায্য করে [6][9]। বিভিন্ন একাডেমিক ক্ষেত্রে  বিভিন্ন শৈলীর মুক্ত পাঠ্য উত্তর স্কোর করতে পারে এমন একটি সার্বজনীন মূল্যায়নকারী তৈরি করার জন্য উন্নত NLP/NLU ব্যবহার করা প্রয়োজন এবং এটি Embibe-এর একটি অগ্রাধিকার ক্ষেত্র।

আমরা সমস্যাটিকে দুটি উপ-সমস্যা-এ ভাগ করতে পারি।

1. এনটিটি লিঙ্কিং বা এনটিটি অন্তর্ভুক্তি

2. সিম্যান্টিক সিমিলারিটি বা শব্দার্থগত সাদৃশ্য

এনটিটি লিঙ্কিং বা এনটিটি অন্তর্ভুক্তি

এনটিটি লিঙ্কিং বা এনটিটি অন্তর্ভুক্তিতে, আমরা সংক্ষিপ্ত রূপ অথবা সংক্ষিপ্ত শব্দ বা অ্যাক্রনিমস (এছাড়াও যে নামে পরিচিত) এর মতো এনটিটি অন্তর্ভুক্ত করতে পারি। সংক্ষিপ্ত শব্দ বা অ্যাক্রনিমস যেমন

“PMC”: “পোলোন মাদার সেল”,

“MMC”: “মেগাস্পোর মাদার সেল”, 

“PEN”: “প্রাইমারি এন্ডোস্পার্ম নিউক্লিয়াস”, 

“PEC”: “প্রাইমারি  এন্ডোস্পার্ম সেল”, 

“LH”: “লিউটেনাইজিং হরমোন”, 

“FSH”: “ফলিকল স্টিমুলেটিং হরমোন”

এবং যেমন,

“মাশরুম”: “টোডস্টুল”, 

“জার্মস”: “মাইক্রোবস”, 

“ব্যাকটেরিয়া”: “মাইক্রোবস”, 

“ইস্ট”: “মাইক্রোবস”, 

“রিনিউয়েবেল”: “ইনএক্সজস্টিবল”, 

 “ট্রেট”: “ক্যারাকটারিস্টিক”,

আমরা রাসায়নিক নেম এনটিটি-কেও ম্যাপ করতে পারি যেমন,

‘(NH4)(NO3)’ : ‘অ্যামোনিয়াম নাইট্রেট’, 

‘(NH4)2C2O4’ : ‘অ্যামোনিয়াম অক্সালেট’, 

‘Ag2O’ : ‘সিলভার অক্সাইড’, 

‘Ag2SO4’ : ‘সিলভার সালফেট’, 

‘Al(NO3)3’ : ‘অ্যালুমিনিয়াম নাইট্রেট’,

এই ম্যাপিং ব্যবহার করে আমরা সংক্ষিপ্ত শব্দ বা অ্যাক্রনিমগুলিকে অনুরূপ শব্দগুলির সাথে ম্যাপ করতে পারি এবং তাদেরকে আসল উত্তরের সাথে মিলিয়ে দেখতে পারি।

শব্দার্থিক মিল

দুটি বিবৃতি একই অর্থ বোঝাতে পারে। আমরা ডোমেন-সম্পর্কিত জ্ঞান ব্যবহার করে শব্দার্থগত মিল স্থাপন করে থাকি এবং স্বাভাবিক ভাষা বোঝার এবং জ্ঞান সংমিশ্রিত শিক্ষার জন্য আমাদের অত্যাধুনিক গবেষণা ব্যবহার করে ভাষা মডেল সম্ভাব্যতা অনুমান করে থাকি [3] [4] [5]।

আমরা শিক্ষার্থীর উত্তরের নিহিত অর্থ পেতে পারি এবং প্রকৃত উত্তরের নিহিত অর্থের সাথে তুলনা করতে পারি। যদি তাদের মধ্যে কোসাইন দূরত্ব নির্দিষ্ট সীমার চেয়ে কম হয় তবে আমরা তাদের অনুরূপ বিবেচনা করতে পারি এবং উত্তরটিকে সঠিক হিসাবে চিহ্নিত করতে পারি।

আমরা BERT [1] এবং RoBERTa [2] এর মতো স্ব-নিবদ্ধ মডেলগুলি ব্যবহার করতে পারি শিক্ষার্থীদের উত্তরের এবং সঠিক উত্তরের নিহিত অর্থের জন্য এবং তাদের মধ্যে মিল খুঁজে পেতে তাদের কোসাইন দূরত্ব গণনা করতে পারি।