|
DOI: 10.14489/vkit.2019.07.pp.046-052
Афонин А. Н., Асадуллаев Р. Г., Ситникова М. А.
НЕЙРОННАЯ СЕТЬ ИДЕНТИФИКАЦИИ ПАТТЕРНОВ ДВИЖЕНИЙ НА ОСНОВАНИИ АНАЛИЗА ДАННЫХ ГЕМОДИНАМИЧЕСКОЙ АКТИВНОСТИ МОЗГА
(c. 46-52)
Аннотация. Применение функциональной спектроскопии в ближнем инфракрасном свете (fNIRS-томографии) в нейрокомпьютерных интерфейсах позволяет в режиме реального времени обрабатывать нейроданные о гемодинамической активности головного мозга. Представлен классификатор паттернов двигательной активности руки на основании анализа данных из 20 каналов fNIRS-томографа. Классификатор реализован в виде нейронной сети со слоем «долгая краткосрочная память» LSTM (Long Short-Term Memory), который в 77 % правильно идентифицирует паттерн движения. Разработанные средства предназначены для использования в интерфейсе мозг – компьютер при управлении бионическими протезами кисти руки. Попытка классификации шумов привела к низкой способности распознавания полезных сигналов. В дальнейшем предполагается рассмотрение возможного использования для управления бионическими протезами комбинации сигналов, полученных электроэнцефалографией и fNIRS-томографией.
Ключевые слова: анализ многомерных данных; нейронная сеть; бионический протез; fNIRS-томография; интерфейс мозг – компьютер.
Afonin A. N., Asadullayev, R. G., Sitnikova M. A.
NEURAL NETWORK IDENTIFICATION OF PATTERNS OF MOVEMENTS ON THE BASIS OF ANALYSIS OF HEMODYNAMIC ACTIVITY OF THE BRAIN
(pp. 46-52)
Abstract. The most up to date method to operate and control bionic prostheses of limbs in case of absence or atrophy of residual muscles of a stump is with the help of BCI (Brain-Computer Interfaces) that allow decoding and interpreting the real-time neural activation. Functional nearinfrared spectroscopy-based BCI is regarded as one of the most promising. Functional Near-Infrared Spectroscopy (fNIRS) allows a real-time acquisition of hemodynamic brain activation data. This neuro data can be interpreted as a multidimensional time series. The data recorded by the fNIRS can be defined as a multidimensional time series that reflects the covert interaction between brain activity and the performed motor actions. As a result of the research, the original marked data sets of multidimensional time dependencies of the hemodynamic activity of the brain on hand movements were formed. These data sets were obtained from 20 channels of portable near-infrared spectroscopy device. Based on the analysis of various methods of movement patterns decoding, the recurrent neural network with the Long short-term memory layer was admitted as the most appropriate. This neural network has a lasting short-term memory that allow to supply long sequences to the network with keeping connection between the data. A neural network classifier developed in MatLab on the basis of this neural network determines correctly the movement pattern in cortical areas of the brain in 77 % of cases. However, an attempt to take into account noise types occurred from additional human motor activity led to a decrease in this classifier’s capability to recognize important signals. We see future perspectives in developing approaches to reduce the hemodynamic response delay to an imaginary motor pattern. In this regard, the possibility of using a coregistration of signals from several devices, for example, Electroencephalography and fNIRS, for operating bionic prostheses is considered.
Keywords: Analysis of multidimensional data; Neural network; bionic prosthesis; fNIRS-tomography; Brain-computer interface.
А. Н. Афонин, Р. Г. Асадуллаев, М. А. Ситникова (Белгородский государственный национальный исследовательский университет, Белгород, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
A. N. Afonin, R. G. Asadullayev, M. A. Sitnikova (Belgorod State National Research University, Belgorod, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Разработка и реализация макета бионического протеза кисти руки / А. Н. Афонин и др. // Робототехника и техническая кибернетика. 2016. № 3(12). С. 68 – 71.
2. Muzumdar A. Powered Upper Limb Prostheses: Control, Implementation and Clinical Application. Springer-Verlag. Berlin, Heidelberg, 2004. 220 p.
3. Nonlinear Analysis of Brain Activity, Associated with Motor Action and Motor Imaginary in Untrained subjects / V. A. Maksimenko et al. // Nonlinear Dynamics. 2018. V. 91, Is. 4. P. 2803 – 2817
4. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг – компьютер / Л. А. Станкевич и др. // Тр. СПИИРАН. 2015. № 3 (40). С. 163 – 182.
5. Каплан А. Я., Жигульская Д. Д., Кирьянов Д. А. Изучение возможности управления отдельными пальцами фантома кисти руки человека в контуре интерфейса мозг – компьютер на волне P300 // Вестник Российского гос. медицинского университета. 2016. № 2. С. 26 – 30.
6. Naseer N., Hong K.-S. fNIRS-based Brain-computer Interfaces: A Review // Frontiers Human Neurosciens. 28 January. 2015. doi:10.3389/fnhum.2015. 00003
7. Ferrari M., Quaresima V. A Brief Review on the History of Human Functional Near-infrared Spectroscopy (fNIRS) Development and Fields of Application // Neuroimage. 2012. V. 63, Is. 2. P. 921 – 935.
8. Ближняя инфракрасная томография и спектроскопия в исследовании мозговой активности / К. В. Квашнева и др. // Биотехносфера. 2013. № 2(26). С. 33 – 37.
9. Ситникова М. А., Нюрк Г. Х. Функциональная оптическая томография: надежный метод измерения мозговой активации в процессе решения различных математических задач [Электронный ресурс] // Современные проблемы науки и образования. 2016. № 3. URL: http://science-education.ru/ru/article/ view?id=24640 (дата обращения: 03.04.2019).
10. Афонин А. Н., Асадуллаев Р. Г., Ситникова М. А. Анализ данных fNIRS-томографа для управления протезами конечностей с помощью интерфейса мозг – компьютер // Научно-технический вестник Поволжья. 2018. № 11. С. 182 – 184.
11. NIRS Monitoring of Muscle Contraction to Control a Prosthetic Device / T. Bianchi et al. // Proceedings of SPIE – The International Society for Optical Engineering. 1999. V. 3570. P. 157 – 163. doi: 10.1117/12.336926
12. Hochreiter S., Schmidhuber J. Long Shortterm Memory // Neural computation. 1997. V. 9, Is. 8. P. 1735 – 1780.
13. Cui Z., Chen W., Chen Y. Multi-Scale Convolutional Neural Networks for Time Series Classification. In: CoRR abs/1603.06995. 2016. [Электронный ресурс] URL: http:// arxiv.org/abs/1603.06995 (дата обращения: 03.04.2019).
14. Wang Z., Oates T. Spatially Encoding Temporal Correlations to Classify Temporal Data Using Convolutional Neural Networks. In: CoRR abs/1509.07481 2015. [Электронный ресурс] URL: http://arxiv.org/ abs/1509.07481
15. Time 15. Time Series Classification Using Multi-Channels Deep Convolutional Neural Networks / Y. Zheng et al. // Intern. Conf. on Web-Age Information Management (WAIM’2014). Lecture Notes in Computer Science (LNCS). 2014. V. 8485. P. 298 – 310.
16. Naseer N., Hong K.-S. Classification of Functional Nearinfrared Spectroscopy Signals Corresponding to the Right- and Left-wrist Motor Imagery for Development of a Brain-computer Interfaces // Neuroscience Letters. 2013. V. 553. P. 84 – 89. doi:10.1016/j.neulet. 2013.08.021
17. Real-Time Subject-Independent Pattern Classification of Overt and Covert Movements from fNIRS Signals / N. Robinson et al. // PLOS ONE. 2016. V. 11, Is. 7. doi:10.1371/journal.pone.0162567
1. Afonin A. N. (2016). Development and implementation of a bionic prosthesis. Robototekhnika i tekhnicheskaya kibernetika, 12(3), pp. 68 – 71. [in Russian language]
2. Muzumdar A. (2004). Powered Upper Limb Prostheses: Control, Implementation and Clinical Application. Springer-Verlag. Berlin, Heidelberg.
3. Maksimenko V. A. et al. (2018). Nonlinear Analysis of Brain Activity, Associated with Motor Action and Motor Imaginary in Untrained subjects. Nonlinear Dynamics, Vol. 91 (4), pp. 2803 – 2817.
4. Stankevich L. A. et al. (2015). Classification of electroencephalographic patterns of imaginary finger movements for the development of the brain-computer interface. Trudy SPIIRAN, 40 (3), pp. 163 – 182. [in Russian language]
5. Kaplan A. Ya., Zhigul'skaya D. D., Kir'yanov D. A. (2016). Studying the possibility of controlling individual fingers of a phantom of a human hand in a brain-computer interface on a P300 wave. Vestnik Rossiyskogo gosudarstvennogo meditsinskogo universiteta, (2), pp. 26 – 30. [in Russian language]
6. Naseer N., Hong K.-S. (2015). fNIRS-based Brain-computer Interfaces: A Review. Frontiers Human Neuroscience. doi:10.3389/fnhum.2015. 00003
7. Ferrari M., Quaresima V. (2012). A Brief Review on the History of Human Functional Near-infrared Spectroscopy (fNIRS) Development and Fields of Application. Neuroimage, Vol. 63 (2), pp. 921 – 935.
8. Kvashneva K. V. et al. (2013). Near infrared tomography and spectroscopy in the study of brain activity. Biotekhnosfera, 26(2), pp. 33 – 37. [in Russian language]
9. Sitnikova M. A., Nyurk G. H. (2016). Functional optical tomography: a reliable method for measuring brain activation in the process of solving various mathematical problems. Sovremennye problemy nauki i obrazovaniya, (3). Available at: http://science-education.ru/ru/article/ view?id=24640 (Accessed: 03.04.2019). [in Russian language]
10. Afonin A. N., Asadullaev R. G., Sitnikova M. A. (2018). Data analysis of the fNIRS tomograph to control limb prostheses using the brain-computer interface. Nauchno-tekhnicheskiy vestnik Povolzh'ya, (11), pp. 182 – 184. [in Russian language]
11. Bianchi T. et al. (1998). NIRS Monitoring of Muscle Contraction to Control a Prosthetic Device, Vol. 3570, pp. 157 – 163. Proceedings of SPIE – The International Society for Optical Engineering. doi: 10.1117/12.336926
12. Hochreiter S., Schmidhuber J. (1997). Long Shortterm Memory. Neural computation, Vol. 9(8), pp. 1735 – 1780.
13. Cui Z., Chen W., Chen Y. (2016). Multi-Scale Convolutional Neural Networks for Time Series Classification. In: CoRR abs/1603.06995. Available at: http:// arxiv.org/abs/1603.06995 (Accessed: 03.04.2019).
14. Wang Z., Oates T. (2015). Spatially Encoding Temporal Correlations to Classify Temporal Data Using Convolutional Neural Networks. In: CoRR abs/1509.07481. Available at: http://arxiv.org/ abs/1509.07481
15. Zheng Y. et al. (2014). Time Series Classification Using Multi-Channels Deep Convolutional Neural Networks, pp. 298 – 310. WAIM 2014, LNCS 8485.
16. Naseer N., Hong K.-S. (2013). Classification of Functional Nearinfrared Spectroscopy Signals Corresponding to the Right- and Left-wrist Motor Imagery for Development of a Brain-computer Interfaces. Neuroscience Letters, Vol. 553, pp. 84 – 89. doi:10.1016/j.neulet. 2013.08.021
17. Robinson N. et al. (2016). Real-Time Subject-Independent Pattern Classification of Overt and Covert Movements from fNIRS Signals. PloS ONE, Vol. 11, (7). doi:10.1371/journal.pone.0162567
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2019.07.pp.046-052
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2019.07.pp.046-052
and fill out the form
.
|
Архив номеров
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»