தரவே எங்களின் புதிய விசை

தரவுதரவே எங்களின் புதிய விசை

எங்கள் Embibe தளத்திற்கு, தரவை உட்செலுத்துதல், அளவிடுதல், சேகரித்தல், பாதுகாத்தல் போன்றவற்றில் அபிமானம் அதிகம். எங்கள் தளத்தை சேர்ந்த தரவுகள் அனைத்தும் முழுமுழுக்க Embibeஐ சேர்ந்தவையே, மேலும் Embibe-யின் IP யும் அதை சார்ந்தே இயங்குகிறது. Embibe தளத்தில், எங்கள் மாணவர்கள், தளத்தை எவ்வாறு அணுகுகிறார்கள், எது ஒரு குறிப்பிட்ட வெளிப்பாட்டை ஏற்படுத்தியது என்பதை சரியான அளவீடுகள் மூலம் தெரிந்துகொள்ளும் வரை நாங்கள் தகவல் வெளியீடுகளை தாமதப்படுத்துகிறோம்.

தரவு மீதிருக்கும் இத்தகைய பற்று தான், மாணவர்கள் எப்படி படிக்கிறார்கள் மற்றும் அவர்களின் இலக்குகளை எப்படி அடைகிறார்கள் என்பதைப் பற்றிய பல அறிவார்ந்த வெளிப்பாடுகளுக்கு எங்களை அழைத்து சென்றது. உதாரணமாக, ஒரு மாணவரின் மதிப்பெண் இரண்டு காரணிகளின் கலவையாகும் – அவர்களின் கற்றல் திறன் ஒட்டுமொத்த மதிப்பெண்ணில் ~ 61% பங்களிக்கிறது, மேலும் அவர்களின் ஒழுக்கநெறி ~ 39% பங்களிக்கிறது. தரவுகளில் இருக்கும் இத்தகைய கூர்மையான கவனம் தான், கல்வியைத் தனிப்பயனாக்குகிறது, மற்றும் மாணவர்களுக்கான கற்றல் வெளிப்பாடுகளில் மிகப்பெரிய முன்னேற்றங்களை வழங்குவதற்கான தளத்தை உருவாக்க Embibe க்கு மிகுந்த உதவியாக இருந்தது.

முதன்மை தரவு சேகரிப்பு

Embibe தளம் முழுவதும், பல்வேறு நிலைகள் மற்றும் இடங்களில் தரவு உட்செலுத்தப்படுகிறது மற்றும் சேகரிக்கப்படுகிறது. தரவை எடுப்பது மட்டும் முக்கியமில்லை, சரியான வகை தரவுகளை, சரியான நேரத்தில், சரியான பாடத்திலிருந்து, சரியான அளவில் அணுக வேண்டும். Embibe தளத்தில் தரவுகளை அணுகும் பரவலாக செய்யப்படும் முறைகளின் வகைகள் பின்வருமாறு:

• உயர் நிகழ்வு வகைகளின் கருவியாக்கம்:

• மாணவர்-கருத்துக்களை வெளிப்படையாக பரிமாறும் நிகழ்வுகள்- கிளிக்ஸ், டேப்ஸ், ஹோவர்ஸ், ஸ்க்ரோல்ஸ், டெக்ஸ்ட்-அப்டேட்ஸ்.
• மாணவர்-கருத்துக்களை வெளிப்படையாக பரிமாறாத நிகழ்வுகள் – கர்சர் நிலை, டேப் அழுத்தம், சாதன ஒருங்கிணைப்பு, இருப்பிடம்.
• அமைப்பு – உருவாக்கிய சர்வர் பக்க நிகழ்வுகள் – பக்கத்தின் சுமை, செஷன் புதுப்பிப்புகள், api அழைப்புகள்
• அமைப்பு – உருவாக்கிய வாடிக்கையாளர் பக்க நிகழ்வுகள் – அமைப்பின் அறிவிப்புகள் மற்றும் சைகைகள்(ட்ரிகர்ஸ்).

•  பண்புகள்  மூலம் பிரிக்கப்பட்ட குறிப்பிட்ட தரவு:

•  பக்கத்தின் பார்வைகள் (URL, பரிந்துரை, பயனர் முகவர், சாதனம், IP, நேர முத்திரை, டிராபிக்கின் காரணம், பிரச்சாரம்)
• பயிற்சியில் பதிலளித்த நிலையின் தரவு (நேர முத்திரை, வருகை/மறு -வருகை, பதில் தேர்வு, முதலில் பார்த்த நேரம், சரி, செலவழித்த நேரம், பார்க்கப்பட்ட தீர்வு, பயன்படுத்தப்பட்ட குறிப்பு) – குறிப்பிட்ட செஷன் நிலையிலிருந்து திரட்டப்படுகிறது.

•  ஒழுக்கநெறிக்கான தரவுகளை அறிந்துகொள்ளுங்கள்:

• நிகழ்வுத் தரவைத் தேடுதல்(டைம் ஸ்டாம்ப், கேள்விகள், பதிலுக்கான தொகுப்பு)
• கருத்து பரிமாற்றங்களின் பதிலிற்கான தரவு (டைம் ஸ்டாம்ப், தேர்வுசெய்த பரிந்துரைக்கப்பட்ட பதில், பதில் விட்ஜெட் மற்றும் சூழல், விட்ஜெட்டின் நிலை)
• டெஸ்ட் முயற்சி செய்த நிகழ்வு நிலைக்கான தரவு (டைம் ஸ்டாம்ப், வருகை/மறு -வருகை, பதிளுக்கான தேர்வு, முதலில் பார்த்த நேரம், சரியானது, செலவழித்த நேரம், பார்க்கப்பட்ட ஃபீட்பேக்) – ப்பிட்ட செஷன் நிலையிலிருந்து திரட்டப்படுகிறது.
• கேள்வி பதில் விவரங்களை கேட்டல்(கல்வி மன்றம்), டைம் ஸ்டாம்ப், மாணவர் வாக்களிக்கும் ஒழுக்கநெறி.
• கட்டணம் (பயனர் அடையாளங்காட்டி, பயனர் மின்னஞ்சல், மூன்றாம் தரப்பு பணம் செலுத்தும் நுழைவுவாயில், கட்டண நுழைவுவாயில் பரிவர்த்தனை அடையாளங்காட்டி, பணம் செலுத்தும் முறை (அட்டை, வாலட், முதலியன), ஆர்டர் கோரிக்கையின் நேர முத்திரை, பயன்படுத்தப்பட்ட தள்ளுபடிகள், ஆர்டர் செய்யப்பட்ட பொருளின் விவரங்கள்.

Embibe செய்யும் அளவில் தரவுகளை சேகரிக்கும் போது, கவனம் செலுத்த வேண்டிய பல நடைமுறை -பிரச்சனைகள் உள்ளன. உதாரணமாக, இந்தத் தரவுகளை சேகரிக்க நாங்கள் பல சாத்தியக்கூறுகளை நம்பியிருக்கிறோம். அதாவது, பயனர் கருத்து பரிமாற்றம் நிகழ்வை பதிவு செய்வது segment.io மற்றும் Heap போன்ற மூன்றாம் தரப்பு செயலியை ஒருங்கிணைப்பதன் மூலம் செயல்படுத்தப்படுகிறது. அதே போல சர்வர் பக்கத்தின் சுமை மற்றும் பிரிவு நிகழ்வு பதிவு மற்றும் noSQL போன்றவைகள் தரவுத்தளங்களால் நடத்தப்படுகிறது. பயிற்சி மற்றும் டெஸ்ட் போன்ற அம்சங்களில் பயனர் செயல்பாட்டின் தினசரி தரவு ஃபிரண்ட் எண்ட் திரட்டல்களுக்காக DB-இல் சேமிக்கப்படுகிறது.

தகவல் செயலாக்கம்

முதன்மை தரவு சேகரிப்பு நடந்தவுடன், அதன் தரத்தை சோதித்தல், வளப்படுத்துதல், தேடி எடுத்தல் மற்றும் அவற்றை காட்சிப்படுத்துதல் அவசியம். Embibe தளத்தில், நாங்கள் சேகரிக்கும் தரவைப் பின்வரும் அணுகுமுறைகள் மூலம் பயன்படுத்துகிறோம் :

• Embibe தளத்தின் அறிக்கை மற்றும் அட்-ஹாக் பகுப்பாய்வு:

• ஸ்பார்க் ஸ்ட்ரீமிங் மற்றும் ஹாடூப் வரைபடத்தைப் பயன்படுத்தி லாக் பிரிவு வாரியாக செயல்பாடுகளை சேமிக்கும் பயனர் GOV தரவு மற்றும் ஒவ்வொரு மாணவர்களின் கற்றல் திறன் விவரங்களை சேமிக்கும் GAV தரவினை உருவாக்க மற்றும் புதுப்பிக்க ஸ்பார்க் ஸ்ட்ரீமிங் மற்றும் ஹாடூப் வரைபடத்தைப் பயன்படுத்தும் லாக் மைனிங், AWS EMR மூலம் வேலைகளை குறைக்கிறது. GOV மற்றும் GAV தரவுகள் எலாஸ்டிக்சர்ச் தொகுப்பில் சேமிக்கப்படுகிறது.  
• டிராஃபிக் வடிவங்கள், மாணவர் உபயோகத்தை பணமாக்குதல், தேர்விற்கு தேர்வு முன்னேற்றம், தேடலில் தோல்விகள் மற்றும் பிற தேவைகளுக்கான அறிக்கையிடல் தரவை உருவாக்க லாக் மைனிங் உதவுகிறது. செயலாக்கப்பட்ட தரவு மீண்டும் எலாஸ்டிக்சர்ச் வழியாக கிபானா மற்றும் கிரபானா டேஷ்போர்டுகளைப் பயன்படுத்தி காட்சிப்படுத்தப்படுகிறது.
• தற்காலிக அடிப்படையில் நடத்தப்பட வேண்டிய தேவையான பகுப்பாய்விற்காக HDFS மூலம் HBase-யில் முதன்மை மூல தரவு சேமிக்கப்பட்டிருக்கும் .

• வணிகம்/தளம்/சுய சேவை சந்தைப்படுத்தலுக்கான மூன்றாம் தரப்பு கருவிகள் 

1. எங்கள் இணையதளம் மற்றும் செயலியில் உள்ள பயனர் கருத்து பரிமாறும் தரவு segment.io (மூன்றாம் தரப்பு செயலி) எனும் செயலியை பயன்படுத்தி பல்வேறு வெளிப்புற தரவு காட்சிப்படுத்தல் தளங்களுக்கு தானாக வழிநடத்தப்படுகிறது. 
2. டிராஃபிக் மூலங்கள், மக்கள்தொகை மற்றும் இருப்பிடத் தகவல், சாதன செயலிழப்பு, பக்கப் வியூவ்கள், செலவழித்த நேரம், தக்கவைத்தல் அளவீடுகள் உள்ளிட்ட பரந்த அளவிலான டிராஃபிக் கண்காணிப்புக்கான கூகுள் பகுப்பாய்வு.
3. மாணவரின் பயன்படுத்துதலுக்கான பகுப்பாய்வு மற்றும் மேம்படுத்தலுக்கான Heap பகுப்பாய்வு. அனைத்து மாணவர் கருத்து பரிமாறும் நிகழ்வுகளையும் segment.io வழியாக Heap-க்கு FE இட்டு செல்கிறது. மாணவர் தளத்தை அணுகும் முறை மூலம் சுய சேவை செய்யும் பாணி-மாறும் அமைப்பு மாறும் வகையில் Heap அனுமதிக்கிறது.