|
DOI: 10.14489/vkit.2025.08.pp.045-054
Тагирова Л. Ф., Семенова Н. Г.
РАЗРАБОТКА ИНТЕЛЛЕКТУАЛЬНЫХ ИНТЕРФЕЙСОВ МОБИЛЬНЫХ ПРИЛОЖЕНИЙ ОБУЧАЮЩИХ СИСТЕМ
(с. 45-54)
Аннотация. В сфере образования в настоящее время получает развитие новая технология – мобильное обучение, – предполагающая использование портативных мобильных устройств. При создании мобильных обучающих систем следует учитывать потребности каждого студента, его уровень знаний, скорость обучения и другие факторы. Это обусловлено тем, что каждый обучаемый имеет неповторимые психофизиологические особенности, возраст, пол, эмоции, а также уровень профессиональной подготовки, использует смартфон, технические характеристики которого отличаются от других. Решение проблемы представляется в разработке мобильных приложений обучающих систем, интерфейсная часть которых персонализирована под особенности студентов и их смартфонов в целях обеспечения комфортного обучения. В статье описан авторский способ формирования адаптивных интерфейсов мобильных приложений, основанный на интеграции двух искусственных нейронных сетей (ИНС). Первая, сверточная, нейронная сеть служит для определения гендерных и возрастных особенностей, а также эмоционального состояния пользователя на основе анализа его лица. Полученные результаты наряду с данными о других индивидуальных особенностях обучаемых (профессиональных, физических, психических) и характеристиках смартфона используются в работе второй, глубокой, ИНС, представленной в виде многослойного перцептрона. На основе ее работы, которая включает вычисление значений компонентов интерфейсов, в приложении генерируется дизайн мобильного приложения, адаптированный под каждого обучаемого. В ходе проводимого исследования разработано мобильное приложение обучающей системы, интерфейс которого персонализирован под обучаемого. Результаты, полученные в ходе исследования, могут найти применение при создании адаптивных интерфейсов мобильных приложений не только в сфере образования, но и в других областях, где присутствует работа пользователя с интерфейсом программного средства.
Ключевые слова: мобильное приложение обучающей системы; адаптивный интерфейс; искусственные нейронные сети; многослойный перцептрон.
Tagirova L. F., & Semenova, N. G.
DEVELOPMENT OF INTELLIGENT INTERFACES OF MOBILE APPLICATIONS OF TRAINING SYSTEMS
(pp. 45-54)
Abstract. Introduction. Today, mobile phones and applications working with them penetrate into all spheres of life of modern digital society, including the field of education, in which a new direction is being developed – mobile training (training using portable mobile devices – smartphones, tablets, smart watches, etc.). Considering the fact that each mobile device has its own technical characteristics and each student has its own individual psychophysiological features, there is a problem of developing an application interface that can adapt to them to increase the usability of the software product and ensure comfortable conditions for studying the material of the discipline. Method. The paper presents an author's method of forming adaptive interfaces of mobile applications by integrating two artificial neural networks (ANN). The first convolutional ANN – determines the age, gender and emotional state of the user. The results of its work, along with the values of the formation of other features of the trainees (professional, physical, mental), the characteristics of the smartphone, are used in the work of a deep ANN, presented in the form of a multilayer perceptron. Based on the work of the deep ANN to determine the values of design ergonomic indicators, an interface is generated in the application, adapted for each student. Main results. For the first time, a method has been introduced that integrates the operation of two ANNs: convolutional and deep. The convolutional ANN is implemented through the DeepFace Python library and is used to assess gender and age characteristics, as well as the emotional state of the user, based on his face recognition. Deep ANN is used to select the values of design ergonomic indicators. A mobile application of the training system (MATS) was developed, the interface part of which is adapted based on the use of the work of two ANN. Its testing showed an increase in the effectiveness of student education, by ensuring a comfortable interaction between the student and the smartphone, as well as reducing its physiological and psycho-emotional load. Discussion. The results obtained during the study can be used to create adaptive interfaces for mobile applications, both in the field of education and in other areas in which the user works with the software interface.
Keywords: Mobile application of the training system; Adaptive interface; Artificial neural networks; Multilayer perceptron.
Л. Ф. Тагирова, Н. Г. Семенова (Оренбургский государственный университет, Оренбург, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
L. F. Tagirova, N. G. Semenova (Orenburg State University, Orenburg, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Голых Н.Я., Лопаткин, Кудинов И.С. Мобильное приложение для реализации интерактивного и индивидуального обучения студентов // Казанский педагогический журнал 2020. № 1. С. 84–89.
2. Поцелуйко А.С., Кравец А.Г., Кульцова М.Б. Персонализация интерфейсов мобильных приложений на основе паттернов интерфейсов для людей с ограниченными возможностями // Прикаспийский журнал: управление и высокие технологии. 2019. № 3(47). С. 17–27.
3. Braham A., Buendia F., Khemaja M., Gargouri F. Generation of adaptive mobile applications based on design patterns for user interfaces // Proceedings. 2019. V. 31. Is. 1. 1–5 December 2019. Toledo, Spain. DOI: 10.3390/proceedings2019031019
4. A Toolkit for building more adaptive user interfaces for vision-impaired users / C. Lui, J. Law, L. Ho et al. // Symposium on Visual Language and Human-Centric Computing (VL/HCC). 10–13 October 2021. St. Louis, USA. DOI: 10.1109/VL/HCC51201.2021
5. Alkhalifah A. Predicting Mobile Cross-Pltform Adaptation Using a Hybrid Sem–ANN Approach // Computer Systems Science & Engineering. 2022. V. 42, No. 2. P. 639–658. DOI:10.32604/ csse.2022.022519
6. Разработка мобильного приложения для изучения физики с использованием технологии дополненной реальности / Е.А. Дайнеко, Д.Д. Цой, А.М. Сейтнур и др. // Вестник Восточно-Казахстанского государственного технического университета имени Д. Серикбаева. 2021. №4. С. 63–70.
7. Самылкина Н. Н., Етова А. В. Создание мобильных приложений в MIT APP Inventor с использованием элементов геймификации при изучении программирования в основной школе // Информатика в школе. 2020. №8. С. 37–45.
8. Гуриков С.Р., Воронская Д.А. Разработка мобильного приложения для изучения английского языка // Профильная школа. 2022. Т. 10. №4. С. 8–15.
9. Попова Ю. Б., Легчилин И. В. Адаптивное мобильное приложение обучающей системы cats // Системный анализ и прикладная информатика. 2020. №1. С. 45–52.
10. Kwang B. Lee. Development of Mobile Adaptive Learning Application using Adaptation Layer // International Journal of Engineering Research & Technology (IJERT). V. 11. Is. 3. P. 120–127.
11. Шеляго Е.В., Шеляго Н.Д. Применение мобильных обучающих приложений в сфере высшего образования на примере специальности «нефтегазовое дело» //Нефтяное хозяйство. 2021. №10. С. 128–132.
12. Ветеранова Д.С., Мевлют А.Н., Танишева С.С., Севастьянов В.В. Разработка обучающего мобильного приложения «Geoquiz» // Информационно-компьютерные технологии в экономике, образовании и социальной сфере. 2019. № 1(23). С. 174–180.
13. Климова Е.А., Полевщиков И.С. Разработка мобильной тренажерно-обучающей системы для изучения иностранных языков // Инженерный вестник дона. 2023. №4(100). С. 701–711.
14. Тагирова Л.Ф. Двухэтапный нейросетевой алгоритм адаптации интерфейсов мобильных приложений к особенностям пользователей и характеристикам смартфона // Информационные технологии, 2024. Т. 30, № 9. С. 486–496.
15. Зубкова Т.М., Наточая Е.Н. Проектирование интерфейса программного обеспечения с использованием элементов искусственного интеллекта // Программные продукты и системы. 2017. Т. 30, № 1. С. 5–11. DOI: 10.15827/0236-235X.030.1.005-011
16. Тагирова Л.Ф., Семенова Н.Г. Проектирование адаптивных пользовательских интерфейсов интеллектуальных обучающих систем на основе нейросетевых технологий // Информационные технологии. 2023. Т. 29, № 9. C. 473–484. DOI: 10.17587/it.29.473-484
17. Карвасарский Б.Д. Клиническая психология: учеб. 2021. СПб.: Питер. 896 с.
18. ГОСТ Р ИСО 14915-1–2016. Эргономика мультимедийных пользовательских интерфейсов. Часть 1. Принципы проектирования и структура. М.: Стандартинформ, 2016. 16 с. https://docs.cntd.ru/document/1200141132. Дата обращения: 04.03.2025.
19. ГОСТ Р ИСО 9241-210–2016. Эргономика взаимодействия человек-система. Часть 210. Человеко-ориентированное проектирование интерактивных систем. М.: Стандартинформ, 2016. 35 с.
20. Бондаренко С. Как работает VGG16 – нейросеть для выделения признаков изображений [Электронный ресурс]. URL: https://robotdreams.cc/blog/319-yak-pracyuye-vgg16 (дата обращения: 27.02.2025).
21. Семенова Н.Г. Модели и методы искусственного интеллекта в задачах электроэнергетики. Оренбург: Оренбургский государственный университет, 2022. 189 с.
22. Теория цвета как основа для дизайна [Электронный ресурс]. URL: https://habr.com/ru/company/ruvds/blog/553582/ (дата обращения: 27.02.2025).
23. Браэм Г. Психология цвета; пер. с нем. М.В. Крапивкиной. М.: ACT: Астрель, 2009. 158 с.
1. Golykh, N. Ya., Lopatkin, & Kudinov, I. S. (2020). Mobile application for implementing interactive and individual learning for students. Kazanskii pedagogicheskii zhurnal, (1), 84–89. [in Russian language]
2. Potseluyko, A. S., Kravets, A. G., & Kul'tsova, M. B. (2019). Personalization of mobile application interfaces based on interface patterns for people with disabilities. Prikaspijskij zhurnal: upravlenie i vysokie tekhnologii, (3), 17–27. [in Russian language]
3. Braham, A., Buendia, F., Khemaja, M., & Gargouri, F. (2019). Generation of adaptive mobile applications based on design patterns for user interfaces. Proceedings, 31(1), 1–5. https://doi.org/10.3390/proceedings2019031019
4. Lui, C., Law, J., Ho, L., et al. (2021). Toolkit for building more adaptive user interfaces for vision-impaired users. In 2021 IEEE Symposium on Visual Language and Human-Centric Computing.
5. Alkhalifah, A. (2022). Predicting mobile cross-platform adaptation using a hybrid Sem–ANN approach. Computer Systems Science & Engineering. https://doi.org/10.32604/csse.2022.022519
6. Daineko, E. A., Tsoi, D. D., Seitnur, A. M., et al. (2021). Development of a mobile application for learning physics using augmented reality technology. Vestnik vostochno-kazakhstanskogo gosudarstvennogo tekhnicheskogo universiteta im. D. Serikbaeva, (4), 63–70. [in Russian language]
7. Samylkina, N. N., & Etova, A. V. (2020). Creating mobile applications in MIT APP Inventor using gamification elements when teaching programming in secondary school. Informatika v shkole, (8), 37–45. [in Russian language]
8. Gurikov, S. R., & Voronskaya, D. A. (2022). Development of a mobile application for learning English. Profil'naya shkola, 10(4), 8–15. [in Russian language]
9. Popova, Yu. B., & Legchilin, I. V. (2020). Adaptive mobile application of the CATS learning system. Sistemnyi analiz i prikladnaya informatika, (1), 45–52. [in Russian language]
10. Lee, K. B. (2022). Development of mobile adaptive learning application using adaptation layer. International Journal of Engineering Research & Technology, 11(3), 120–127.
11. Shelyago, E. V., & Shelyago, N. D. (2021). Use of mobile learning applications in higher education on the example of the "oil and gas business" specialty. Neftyanoe khozyaistvo, (10), 128–132. [in Russian language]
12. Veteranova, D. S., Mevlyut, A. N., Tanisheva, S. S., & Sevastyanov, V. V. (2019). Development of the educational mobile application "Geoquiz". Informatsionno-komp'yuternye tekhnologii v ekonomike, obrazovanii i sotsial'noi sfere, (1), 174–180. [in Russian language]
13. Klimova, E. A., & Polevshchikov, I. S. (2023). Development of a mobile training and learning system for studying foreign languages. Inzhenernyi vestnik Dona, (4), 701–711. [in Russian language]
14. Tagirova, L. F. (2024). Two-stage neural network algorithm for adapting mobile application interfaces to user features and smartphone characteristics. Informatsionnye tekhnologii, 30(9), 486–496. [in Russian language]
15. Zubkova, T. M., & Natocaya, E. N. (2017). Designing a software interface using artificial intelligence elements. Programmnye produkty i sistemy, 30(1), 5–11. [in Russian language]. https://doi.org/10.15827/0236-235X.030.1.005-011
16. Tagirova, L. F., & Semenova, N. G. (2023). Designing adaptive user interfaces for intelligent learning systems based on neural network technologies. Informatsionnye tekhnologii, 29(9), 473–484. [in Russian language]. https://doi.org/10.17587/it.29.473-484
17. Karvasarskii, B. D. (2021). Clinical psychology: Textbook. Piter. [in Russian language]
18. GOST R ISO 14915-1-2016. (2016). Ergonomics of multimedia user interfaces. Part 1. Design principles and structure. Standartinform. Retrieved March 4, 2025, from https://docs.cntd.ru/document/1200141132 [in Russian language]
19. GOST R ISO 9241-210-2016. (2016). Ergonomics of human-system interaction. Part 210. Human-centered design for interactive systems. Standartinform. [in Russian language]
20. Bondarenko, S. (n.d.). How VGG16 works - a neural network for image feature extraction. Retrieved February 27, 2025, from https://robotdreams.cc/blog/319-yak-pracyuye-vgg16 [in Russian language]
21. Semenova, N. G. (2022). Models and methods of artificial intelligence in electric power engineering problems. Orenburg State University. [in Russian language]
22. Color theory as a basis for design. (n.d.). Retrieved February 27, 2025, from https://habr.com/ru/company/ruvds/blog/553582/ [in Russian language]
23. Braem, G. (2009). Psychology of color (M. V. Krapivkina, Trans.). AST. [in Russian language]
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2025.08.pp.045-054
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2025.08.pp.045-054
and fill out the form
.
|
Current Issue
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»