10.14489/vkit.2023.01.pp.035-044

DOI: 10.14489/vkit.2023.01.pp.035-044

Воронина А. А., Шабалина О. А., Садовникова Н. П., Катаев А. В., Молодцова И. А.
СИСТЕМА КОМБИНИРОВАННОЙ ОЦЕНКИ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЕЙ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
(c. 35-44)

Аннотация. Рассмотрены методы оценки вовлеченности как характеристики деятельности человека и способы их реализации в программных системах. Описан метод комбинированной оценки вовлеченности пользователей программного обеспечения (ПО) на основе разнородных данных, получаемых в процессе взаимодействия пользователя с ПО. Предложены показатели вовлеченности, которые определяются как числовые интерпретации окулографических данных, данных об эмоциональном состоянии пользователя и данных вебаналитики, и способ их комбинации на основе механизма нечеткого вывода. Предложена архитектура системы комбинированной оценки вовлеченности, описана первая версия системы, которая применялась для оценки эффективности метода. Описан эксперимент, который заключался в оценке вовлеченности пользователя ПО с помощью разработанной версии системы и анализе степени согласованности этой оценки с оценками внешнего наблюдателя и самого пользователя (самооценкой), определяющей применимость метода.

Ключевые слова: вовлеченность; оценка вовлеченности; показатель вовлеченности; окулографический показатель; показатель эмоциональной вовлеченности; показатель веб-аналитики; комбинированная оценка вовлеченности; система оценки вовлеченности.

Voronina A. A., Shabalina O. A., Sadovnikova N. P., Kataev A. V., Molodtsova I. A.
USER ENGAGEMENT COMBINED ASSESSMENT SYSTEM
(pp. 35-44)

Abstract. The article discusses methods for assessing engagement as a characteristic of human activity. Existing systems for assessing engagement that are designed to assess either the activities of a software user or the quality of the software itself with which this user interacts are described. A method for the combined assessment of the engagement of software users based on heterogeneous data obtained during the user’s interaction with the software is described. Engagement indicators are proposed, defined as numerical interpretations of oculographic data, data on the emotional state of the user, and web analytics data. Due to the subjective nature of any interpretation, the combined assessment of engagement is defined using a fuzzy inference mechanism. Three linguistic variables characterizing each indicator are defined. A base of fuzzy production rules for a fuzzy inference system and a method for combining them based on fuzzy rules have been developed. The proposed method is implemented in a system that includes subsystems for collecting and sending user data and evaluating engagement, interacting with each other through the API. An experiment conducted to evaluate the effectiveness of the proposed method using the developed system is described. The experiment consisted in assessing the engagement of the software user, first by each indicator separately, then by their combination, and analyzing the degree of compliance of these assessments with the assessments received from an external expert and the user himself (self-assessment). An analysis of the results of the experiment showed that 63 % of the ratings obtained by the combined assessment method coincided with at least one of the assessments received from an external expert or the user himself, compared with 55 % of coincidences obtained using only the oculographic indicator, and 17 % of coincidences obtained using the “emotional involvement” indicator. Thus, the proposed method provides a higher degree of confidence in the results of the engagement assessment for making a decision based on this assessment than methods for assessing involvement that use each indicator separately.

Keywords: Engagement; Engagement assessment; Engagement index; Oculographic index; Emotional engagement index; Web analytics index; Combined engagement assessment; Engagement assessment system.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

А. А. Воронина, О. А. Шабалина, Н. П. Садовникова, А. В. Катаев (Волгоградский государственный технический университет, Волгоград, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
И. А. Молодцова (Волгоградский государственный медицинский университет, Волгоград, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

A. A. Voronina, O. A. Shabalina, N. P. Sadovnikova, A. V. Kataev (Volgograd State Technical University, Volgograd, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
I. A. Molodtsova (Volgograd State Medical University, Volgograd, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Психологос [Электронный ресурс]. Вовлеченность. URL: https://www.psychologos.ru/articles/view/ vovlechennost (дата обращения: 25.11.2021).
2. Douglas Y., Hargadon A. The Pleasure Principle: Immersion, Engagement, Flow // Proceedings of the Eleventh ACM Conference on Hypertext and Hypermedia. San Antonio. New York: ACM Press, 2000. P. 153 – 160.
3. Klinger E. Consequences of Commitment to and Disengagement from Incentives // Psychological Review. 1975. No. 82. P. 223 – 231.
4. Kim Y. H, Kim D. J, Wachter K. A Study of Mobile User Engagement (MoEN): Engagement Motivations, Perceived Value, Satisfaction, and Continued Engagement Intention // Decision Support Systems. 2013. V. 56. P. 361 – 370.
5. Tarute A., Nikou S., Gatautis R. Mobile Application Driven Consumer Engagement // Telematics and Informatics. 2017. V. 34(4). P. 145 – 156.
6. Воронина А. А., Шабалина О. А., Садовникова Н. П. Вовлеченность пользователя программного обеспечения: способы оценки и возможности применения // Вестник компьютерных и информационных технологий. 2022. Т. 19, № 5. C. 18 – 25. DOI: 10.14489/vkit.2022.05.pp.018-025.
7. Marrelli A. F. Employee Engagement and Performance Management in the Federal Sector // Performance Improvement. 2011. V. 50(5). P. 5 – 13.
8. Shrotryia V. K., Dhanda U. Development of Employee Engagement Measure: Experiences from Best Companies to Work for in India // Measuring Business Excellence. May 2020. DOI: 10.1108/MBE-07-2019-0071
9. Bektas K., Strecker J. R., Mayer S., Stolze M. EToS-1: Eye Tracking on Shopfloors for User Engagement with Automation // Proceedings of the Workshop on Engaging with Automation (AutomationXP) Co-Located with the ACM Conference on Human Factors in Computing Systems (CHI 2022). 30 April 2022. New Orleans, LA, 2022. V. 3154.
10. Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning / P. Sharma, S. Joshi, S. Gautam et al. 2019.
11. Mido J. A. A Model to Measure Online Student Engagement Using Eye Tracking and Body Movement Analysis // MSIT Theses and Dissertations. 2021.
12. EEG-Based Measurement System for Student Engagement Detection in Learning 4.0 / A. Apicella, P. Arpaia, M. Frosolone et al. // Scientific Reports. 2022. V. 12, No. 5857. DOI: 10.1038/s41598-022-09578-y
13. Xd Ideas [Электронный ресурс]. Eye Tracking and Usability: How Does it Work? URL: https:// xd.adobe.com/ideas/process/user-research/eye-tracking-and- usability/ (дата обращения: 05.07.2022).
14. Smartlook [Электронный ресурс]. Heatmaps. URL: https://www.smartlook.com/heatmaps/ (дата обращения: 05.09.2022).
15. Воронина А. А., Шабалина О. А., Катаев А. В. Методы оценки вовлеченности пользователей интерактивных приложений // ИТНОУ: Информационные технологии в науке, образовании и управлении. 2019. № 4(14). C. 70 – 74.
16. Воронина А. А., Шабалина О. А., Катаев А. В. Метод комбинированной онлайн-оценки вовлеченности в адаптивных обучающих системах // Вестник компьютерных и информационных технологий. 2021. Т. 18, № 7. C. 27 – 36. DOI: 10.14489/vkit.2021.07.pp.027-036
17. Voronina A. A., Shabalina O. A., Kataev A. V., Sadovnikova N. P. User Engagement Assessment for Adaptive Learning Systems // Creativity in Intelligent Technologies and Data Science. 4th International Conference CIT&DS. September 20 – 23, 2021. Volgograd, Russia, 2021 // CIT&DS: Conference on Creativity in Intelligent Technologies and Data Science. V. 1448. P. 545 – 558. URL: https://link.springer.com/book/10.1007/978-3-030-87034-8 (дата обращения: 16.12.2022).

Eng

1. Psychologos. Involvement. Available at: https://www.psychologos.ru/articles/view/vovlechennost (Accessed: 25.11.2021). [in Russian language]
2. Douglas Y., Hargadon A. (2000). The Pleasure Principle: Immersion, Engagement, Flow. Proceedings of the Eleventh ACM Conference on Hypertext and Hypermedia, pp. 153 – 160. San Antonio, New York: ACM Press.
3. Klinger E. (1975). Consequences of Commitment to and Disengagement from Incentives. Psychological Review, 82, pp. 223 – 231.
4. Kim Y. H, Kim D. J, Wachter K. (2013). A Study of Mobile User Engagement (MoEN): Engagement Motivations, Perceived Value, Satisfaction, and Continued Engagement Intention. Decision Support Systems, Vol. 56, pp. 361 – 370.
5. Tarute A., Nikou S., Gatautis R. (2017). Mobile Application Driven Consumer Engagement. Telematics and Informatics, Vol. 34, (4), pp. 145 – 156.
6. Voronina A. A., Shabalina O. A., Sadovnikova N. P. (2022). Software user engagement: methods of evaluation and applications. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, Vol. 19, (5), pp. 18 – 25. [in Russian language] DOI: 10.14489/vkit.2022.05.pp.018-025
7. Marrelli A. F. (2011). Employee Engagement and Performance Management in the Federal Sector. Performance Improvement, Vol. 50, (5), pp. 5 – 13.
8. Shrotryia V. K., Dhanda U. (2020). Development of Employee Engagement Measure: Experiences from Best Companies to Work for in India. Measuring Business Excellence. DOI: 10.1108/MBE-07-2019-0071
9. Bektas K., Strecker J. R., Mayer S., Stolze M. (2022). EToS-1: Eye Tracking on Shopfloors for User Engagement with Automation. Proceedings of the Workshop on Engaging with Automation (AutomationXP) Co-Located with the ACM Conference on Human Factors in Computing Systems (CHI 2022), Vol. 3154. New Orleans, LA.
10. Sharma P., Joshi S., Gautam S. et al. (2019). Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning.
11. Mido J. A. (2021). A Model to Measure Online Student Engagement Using Eye Tracking and Body Movement Analysis. MSIT Theses and Dissertations.
12. Apicella A., Arpaia P., Frosolone M. et al. (2022). EEG-Based Measurement System for Student Engagement Detection in Learning 4.0. Scientific Reports, Vol. 12, 5857. DOI: 10.1038/s41598-022-09578-y
13. Xd Ideas. Eye Tracking and Usability: How Does it Work? Available at: https://xd.adobe.com/ideas/process/user-research/eye-tracking-and-usability/ (Accessed: 05.07.2022).
14. Smartlook. Heatmaps. Available at: https://www.smartlook.com/heatmaps/ (Accessed: 05.09.2022).
15. Voronina A. A., Shabalina O. A., Kataev A. V. (2019). Methods for assessing the involvement of users of interactive applications. ITNOU: Informatsionnye tekhnologii v nauke, obrazovanii i upravlenii, 14(4), pp. 70 – 74. [in Russian language]
16. Voronina A. A., Shabalina O. A., Kataev A. V. (2021). He method of combined online assessment engagement in adaptive learning systems. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, Vol. 18, (7), pp. 27 – 36. [in Russian language] DOI: 10.14489/vkit.2021.07.pp.027-036
17. Voronina A. A., Shabalina O. A., Kataev A. V., Sadovnikova N. P. (2021). User Engagement Assessment for Adaptive Learning Systems. Creativity in Intelligent Technologies and Data Science. 4th International Conference CIT&DS. CIT&DS: Conference on Creativity in Intelligent Technologies and Data Science, Vol. 1448, pp. 545 – 558. Volgograd. Available at: https://link.springer.com/book/10.1007/978-3-030-87034-8 (Accessed: 16.12.2022).

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2023.01.pp.035-044

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2023.01.pp.035-044

and fill out the form