10.14489/vkit.2021.07.pp.027-036

DOI: 10.14489/vkit.2021.07.pp.027-036

Воронина А. А., Шабалина О. А., Катаев А. В.
МЕТОД КОМБИНИРОВАННОЙ ОНЛАЙН-ОЦЕНКИ ВОВЛЕЧЕННОСТИ В АДАПТИВНЫХ ОБУЧАЮЩИХ СИСТЕМАХ
(c. 27-36)

Аннотация. Рассмотрена применимость известных методов оценки вовлеченности пользователя к адаптации процесса обучения в адаптивных обучающих системах, которая направлена на повышение качества данных систем в обеспечении эффективности процесса обучения. Рассмотрены метрики, сопоставляемые с различными методами, и способы их интерпретации в контексте вовлеченности. Предложен метод комбинированной оценки вовлеченности, позволяющий учитывать различные аспекты возможного проявления вовлеченности пользователя в процессе взаимодействия с обучающей системой. Предложены метрики, применимые к оценке вовлеченности в режиме онлайн, показатели вовлеченности, способы их интерпретации и правила их свертки на основе механизма нечеткого вывода. Описан способ применения разработанного метода комбинированной оценки вовлеченности для адаптации процесса обучения в обучающих системах.

Ключевые слова: адаптивная обучающая система; качество обучающей системы; вовлеченность; оценка вовлеченности; метод оценки вовлеченности; онлайн-оценка вовлеченности.

Voronina A. A., Shabalina O. A., Kataev A. V. T
HE METHOD OF COMBINED ONLINE ASSESSMENT ENGAGEMENT IN ADAPTIVE LEARNING SYSTEMS
(pp. 27-36)

Abstract. Modern trends in the development of educational software are associated with adaptive learning systems that can personalize the learning process. One of the key quality indicators of any learning system is user engagement in learning process. The known methods for assessing engagement of users of computer systems are based on collecting of various data on the user’s behavior, his emotional and neurophysiological state, etc., and interpreting it in the context of involvement. Confidence in the results of assessments based on interpretations may be insufficient to make decisions based on these results, which is of fundamental importance in case of using in adaptive learning systems. And besides not all the methods can be used online, which is a prerequisite for application in adaptive learning systems. A method for online assessing engagement has been developed, based on a combination of oculography, emotion analysis and web analytics methods, which is applicable for adapting the learning process in adaptive learning systems. The joint analysis of the physiological state and behavior (actions) of the user allows to take into account various aspects of the possible manifestation of the user engagement, and increase the confidence in the results of the assessment of engagement. Quantitative engagement indicators based on metrics applicable to online engagement assessment are suggested. Due to ambiguity of possible interpretations of quantitative indicators of involvement, a generalized assessment of engagement is determined using a fuzzy inference mechanism. To assess engagement a linguistic variable is used and a method for assessing user engagement is based on fuzzy rules. The proposed method is implemented in a web application that can be used to assess involvement online in adaptive learning systems. To set the linguistic variable for assessing engagement, an experiment will be conducted with the participation of users of learning systems and external experts. The values of the linguistic variable will be defined in such a way that the result of assessing involvement, obtained using the developed method, does not contradict the results of expert assessments.

Keywords: Adaptive training system; Quality of the training system; Engagement; Engagement assessment; Engagement assessment method; Online engagement assessment.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

А. А. Воронина, О. А. Шабалина, А. В. Катаев (Волгоградский государственный технический университет, Волгоград, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

A. A. Voronina, O. A. Shabalina, A. V. Kataev (Volgograd State Technical University, Volgograd, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Адаптивные обучающие игры как тренд развития обучающего ПО / О. А. Шабалина, А. Г. Давтян, А. В. Катаев, А. А. Алимов // ИТНОУ: Информационные технологии в науке, образовании и управлении. 2018. № 4(8). С. 11 – 16.
2. Using Virtual Reality to Assess User Experience / F. Rebelo, P. Noriega, E. Duarte, M. Soares // Human Factors: The Journal of Human Factors and Ergonomics Society. 2012. V. 54, Is. 6. P. 964 – 982.
3. Userengagement [Электронный ресурс]. URL: https://whatis.techtarget.com/definition/user-engagement (дата обращения: 16.11.2019).
4. Lalmas M., O’Brien H., Yom-Tov E. Measuring User Engagement // Synthesis Lectures on Information Concepts, Retrieval, and Services. 2015. P. 11 – 58.
5. Воронина А. А., Шабалина О. А., Катаев А. В. Методы оценки вовлеченности пользователей интерактивных приложений // ИТНОУ: Информационные технологии в науке, образовании и управлении. 2019. № 4(14). С. 70 – 74.
6. Шабалина О. А., Катаев А. В., Воронина А. А. Адаптация к вовлеченности пользователя в адаптивной обучающей игре // Моделирование, оптимизация и информационные технологии: электронный научный журнал. 2020. Т. 8, № 2(29). С. 25–26.
7. Eye Tracking and Online Search: Lessons Learned and Challenges Ahead / L. Lorigo, M. Haridasan, H. Brynjarsdóttir et al. // J. Assoc. Inf. Sci. Technol. 2008. Р. 1041 – 1052.
8. Using Reflexive Eye Movements for Fast Challenge-Response Authentication / I. Sluganovic, M. Roeschlin, K. B. Rasmussen, I. Martinovic // Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. October. 2016. P. 1056 – 1067. DOI 10.1145/2976749.2978311
9. Poole A., Ball L. J. Eye Tracking in Human-Computer Interaction and Usability Research: Current Status and Future Prospects. 2006. 9 p. DOI 10.4018/978-1-59140-562-7.ch034
10. Sharafi Z., Sharif B., Guéhéneuc Y. Eye-Tracking Metrics in Software Engineering // Conference Paper. Asia-Pacific Software Engineering Conference. India. 2015. V. 1. P. 96 – 103.
11. Using Psycho-Physiological Measures to Assess Task Difficulty in Software Development / T. Fritz, A. Begel, S. C. Müller at al. // Proceedings of the 36th International Conference on Software Engineering. New York, NY, USA: ACM, 2014. Р. 402 – 413.
12. Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning / P. Sharma, S. Joshi, S. Gautam еt al. 2019. [Электронный ресурс]. URL: https://www.researchgate.net/publication/336147374_Student_Engagement_Detection_Using_Emotion_Analysis_Eye_Tracking_and_Head_Movement_with_Machine_Learning (дата обра¬щения: 19.03.2021).
13. Emotion Recognition and its Application in Software Engineering / A. Kołakowska, A. Landowska, M. Szwoch at al. // 6th International Conference on Human System Interactions (HSI). 2013. Р. 532 – 539.
14. The Best Metrics and Tools for Measuring User Engagement [Электронный ресурс]. URL: https://hackernoon.com/the-best-metrics-and-tools-for-measuring-user-engagement-fb083d9a9be7 (дата обращения: 19.03.2021).
15. Metrics to Measure User Engagement in Mobile Apps [Электронный ресурс]. URL: https://appfollow.io/blog/metrics-to-measure-user-engagement-in-mobile-apps (дата обращения: 19.03.2021).
16. 10 Key Metrics to Measure User Engagement in Mobile Apps [Электронный ресурс]. URL: https://www.newgenapps.com/blog/mobile-app-analytics-10-key-metrics-to-measure-user-engagement/ (дата обращения: 19.03.2021).
17. Дистанционное обучение. Информационный портал [Электронный ресурс]. URL: http://www.distance-learning.ru/db/el/0ACA1C9C4A5FA253C32576E7001E115C/doc.html (дата обращения: 19.03.2021).
18. Путеводитель по человекокомпьютерному взаимодействию: эмоциональные технологии [Электронный ресурс]. URL: https://lpgenerator.ru/blog/2017/10/22/putevoditel-po-cheloveko-kompyuternomu-vzaimo dejstviyu-emocionalnye-tehnologii/ (дата обращения: 19.03.2021).

Eng

1. Shabalina O. A., Davtyan A. G., Kataev A. V., Alimov A. A. (2018). Adaptive educational games as a trend in the development of educational software. ITNOU: Informatsionnye tekhnologii v nauke, obrazovanii i upravlenii, 8(4), pp. 11 – 16. [in Russian language]
2. Rebelo F., Noriega P., Duarte E., Soares M. (2012). Using Virtual Reality to Assess User Experience. Human Factors: The Journal of Human Factors and Ergonomics Society, Vol. 54, (6), pp. 964 – 982.
3. Userengagement. Available at: https://whatis. techtarget.com/definition/user-engagement (Accessed: 16.11.2019).
4. Lalmas M., O’Brien H., Yom-Tov E. (2015). Measuring User Engagement. Synthesis Lectures on Information Concepts, Retrieval, and Services, pp. 11 – 58.
5. Voronina A. A., Shabalina O. A., Kataev A. V. (2019). Methods for assessing user engagement of interactive applications. ITNOU: Informatsionnye tekhnologii v nauke, obrazovanii i upravlenii, 14(4), pp. 70 – 74. [in Russian language]
6. Shabalina O. A., Kataev A. V., Voronina A. A. (2020). Adapting to user engagement in an adaptive learning game. Modelirovanie, optimizatsiya i informatsionnye tekhnologii: elektronniy nauchniy zhurnal, Vol. 8, 29(2), pp. 25–26. [in Russian language]
7. Lorigo L., Haridasan M., Brynjarsdóttir H. (2008). Eye Tracking and Online Search: Lessons Learned and Challenges Ahead. Journal of The Association for Information Science and Technology, pp. 1041 – 1052.
8. Sluganovic I., Roeschlin M., Rasmussen K. B., Martinovic I. (2016). Using Reflexive Eye Movements for Fast Challenge-Response Authentication. Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security, pp. 1056 – 1067. DOI 10.1145/2976749.2978311
9. Poole A., Ball L. J. (2006). Eye Tracking in Human-Computer Interaction and Usability Research: Current Status and Future Prospects. DOI 10.4018/978-1-59140-562-7.ch034
10. Sharafi Z., Sharif B., Guéhéneuc Y. (2015). Eye-Tracking Metrics in Software Engineering. Conference Paper. Asia-Pacific Software Engineering Conference, Vol. 1, pp. 96 – 103. India.
11. Fritz T., Begel A., Müller S. C. et al. (2014). Using Psycho-Physiological Measures to Assess Task Difficulty in Software Development. Proceedings of the 36th International Conference on Software Engineering, pp. 402 – 413. New York: ACM.
12. Sharma P., Joshi S., Gautam S. et al. (2019). Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning. Available at: https://www.researchgate.net/publi-cation/336147374_Student_Engagement_Detection_Using_Emotion_Analysis_Eye_Tracking_and_Head_Movement_with_Machine_Learning (Accessed: 19.03.2021).
13. Kołakowska A., Landowska A., Szwoch M. at al. (2013). Emotion Recognition and its Application in Software Engineering. 6th International Conference on Human System Interactions (HSI), pp. 532 – 539.
14. The Best Metrics and Tools for Measuring User Engagement. Available at: https://hackernoon.com/the-best-metrics-and-tools-for-measuring-user-engagement-fb 083d9a9be7 (Accessed: 19.03.2021).
15. Metrics to Measure User Engagement in Mobile Apps. Available at: https://appfollow.io/blog/metrics-to-measure-user-engagement-in-mobile-apps (Accessed: 19.03.2021).
16. 10 Key Metrics to Measure User Engagement in Mobile Apps. Available at: https://www.newgenapps. com/blog/mobile-app-analytics-10-key-metrics-to-measu-re-user-engagement/ (Accessed: 19.03.2021).
17. Distance learning. Informational portal. Available at: http://www.distance-learning.ru/db/el/0ACA1 C9C4A5FA253C32576E7001E115C/doc.html (Ac-cessed: 19.03.2021). [in Russian language]
18. A Guide to Human-Computer Interaction: Emotional Technologies. Available at: https://lpgenerator.ru/ blog/2017/10/22/putevoditel-po-cheloveko-kompyuterno-mu-vzaimodejstviyu-emocionalnye-tehnologii/ (Accessed: 19.03.2021). [in Russian language]

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 450 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2021.07.pp.027-036

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 450 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2021.07.pp.027-036

and fill out the form