10.14489/vkit.2019.07.pp.010-019

DOI: 10.14489/vkit.2019.07.pp.010-019

Корсун О. Н., Тихомирова Т. А., Михайлов Е. И.
ОЦЕНКА СОСТОЯНИЯ ЧЕЛОВЕКА-ОПЕРАТОРА ПО АНАЛИЗУ ИЗОБРАЖЕНИЙ ЛИЦА
(c. 10-19)

Аннотация. Рассмотрена проблема визуального контроля психофизиологического состояния оператора в целях совершенствования интерфейса кабины пилота современного самолета. Предложена методика оценки состояния оператора по рефлекторному движению век – морганию. Описан алгоритм измерения основных параметров моргания на основе обработки видеопоследовательностей. Эффективность методики продемонстрирована анализом видеозаписей, полученных при выполнении оператором пилотажного задания на полунатурном стенде. Определена минимальная длительность интервала наблюдения для получения наиболее точных статистических оценок периода и длительности фаз моргания. Показано, что для здорового оператора оптимальный интервал оценки динамики моргания составляет 5…10 мин.

Ключевые слова: психофизиологическое состояние; визуальный контроль; рефлекторные движения глаз; моргание; обработка изображений.

Korsun O. N., Tikhomirova T. A., Mikhaylov E. I.
VISUAL-BASED MONITORING OF HUMAN OPERATOR FLIGHT TASKS PERFORMANCE
(pp. 10-19)

Abstract. Psychophysiological state, including fatigue, greatly affects the efficiency of human-operator performing flight tasks. Most of known approaches have low accuracy and require long observation interval for estimating the biometric characteristics. The article deals with the problem of visual control of the operator’s psychophysiological state in order to improve the modern aircraft cockpit interface. A new approach is proposed for these purposes. This approach is based on the analysis of eyelid reflex movement characteristics. Unlike most well-known approaches that require the contact biometric data collection, the analysis of blinking dynamics does not require the human operator’s involvement in this process, as well as the presence of additional sensors, electrodes, etc., which expands the field of application of such technology. The algorithm for measuring the basic blinking parameters based on the video sequences processing is described. The results and efficiency of testing the proposed method on the expeimental data obtained when the operator performed the task on the flight simulator with a total duration of about one hour are presented. To estimate operator fatigue during the experiment, video recordings were processed both individually and as a single sequence. The sample estimates of the mean and median of the blink period, the average blink duration, and sample standard deviations of these parameters were calculated. The obtained relations were approximated by a cubic parabola. The minimal observation interval duration, which is necessary to obtain accurate statistical estimates of the blinking parameters, such as period and the blink duration, is defined. Thus, for a typical operator the optimal interval for estimating blinking dynamics is from 5 to 10 minutes.

Keywords: Psychophysiological state; Visual control; Eye movement detector; Blinking; Image processing.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

О. Н. Корсун, Т. А. Тихомирова (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва, Россия)
Е. И. Михайлов (Московский физико-технический институт (национальный исследовательский университет), Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

O. N. Korsun, T. A. Tikhomirova (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow, Russia)
E. I. Mikhaylov (Moscow Institute of Physics and Technology, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Желтов С. Ю., Себряков Г. Г. Моделирование многофункциональной деятельности человека-оператора при управлении летательным аппаратом // Передача, прием, обработка и отображение информации о быстропротекающих процессах: сб. ст. XXVII Всерос. науч.-техн. конф. школы-семинара (01 – 10 окт. 2016 г.). Сочи. М.: Военно-воздушная инж. академия им. Н. Е. Жуковского, 2016. С. 266 – 275.
2. Korsun O. N., Mikhaylov E. I., Nakhaev M. Z. Speech Spectral Transfer Function // ITM Web of Conferences. 2017. V. 10. 4 p. doi: 10.1051/itmconf/ 20171001006
3. Корсун О. Н., Нахаев М. З. Речевая передаточная функция диктора по частоте // Вестник компьютерных и информационных технологий. 2016. № 10. С. 11 – 16.
4. Using EEG Spectral Components to Assess Algorithms for Detecting Fatigue / B. T. Jap et al. // Expert Systems with Applications. 2009. V. 36, Is. 2. P. 2352 – 2359.
5. Корсун О. Н., Михайлов Е. И. Методы анализа электроэнцефалограмм в целях оценки состояния человека-оператора в процессе пилотирования // Cloud of Science. 2018. Т. 5, № 4. С. 649 – 663.
6. Mikhaylov E. I., Korsun O. N. Algorithms of the Operator’s Electroencephalogram Analysis Based on the Principal Component Analysis // ICPE 2018 – Int. Conf. on Psychology and Education: The European Proceedings of Social & Behavioural Sciences EpSBS. 2018. P. 445 – 450.
7. Шиффман Х. Ощущение и восприятие. 5-е изд. СПб.: Питер, 2003. 928 с.
8. Lin C.-C., Hung Y. A Prior-Less Method for Multi-Face Tracking in Unconstrained Videos // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). 2018. P. 538 – 547.
9. Gilani S. Z., Mian A. Learning from Millions of 3D Scans for Large-Scale 3D Face Recognition // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). 2018. P. 1896 – 1905.
10. Real-Time Rotation-Invariant Face Detection with Progressive Calibration Networks / Shi Xuepeng et al. // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). 2018. P. 2295 – 2303.

Eng

1. Zheltov S. Yu., Sebryakov G. G. (2016). Simulation of a multifunctional human-operator activity when controlling an aircraft. Transfer, reception, processing and display of information on fast processes: a collection of articles XXVII All-Russian Scientific and Technical Conference of the school-seminar Sochi. (pp. 266-275). Moscow: Voenno-vozdushnaya inzhenernaya akademiya im. N. E. Zhukovskogo. [in Russian language]
2. Korsun O. N., Mikhaylov E. I., Nakhaev M. Z. (2017). Speech spectral transfer function. ITM Web of Conferences, Vol. 10. doi: 10.1051/itmconf/ 20171001006
3. Korsun O. N., Nahaev M. Z. (2016). Speaker Transfer Function Speaker Frequency. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, 148(10), pp. 11-16. [in Russian language] DOI: 10.14489/vkit.2016.10.pp.011-016
4. Jap B. T. et al. (2009). Using EEG Spectral Components to Assess Algorithms for Detecting Fatigue. Expert Systems with Applications, Vol. 36(2), pp. 2352 – 2359.
5. Korsun O. N., Mihaylov E. I. (2018). Electroencephalogram analysis methods for assessing the state of a human operator in the process of piloting. Cloud of Science, Vol. 5(4), pp. 649-663. [in Russian language]
6. Mikhaylov E. I., Korsun O. N. (2018). Algorithms of the Operator’s Electroencephalogram Analysis Based on the Principal Component Analysis, pp. 445-450. ICPE 2018 – International Conference on Psychology and Education: The European Proceedings of Social & Behavioural Sciences EpSBS.
7. Shiffman H. (2003). Sensation and perception. 5th ed. Saint Petersburg: “Piter”. [in Russian language]
8. Lin C.-C., Hung Y. (2018). A Prior-Less Method for Multi-Face Tracking in Unconstrained Videos, pp. 538-547. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
9. Gilani S. Z., Mian A. (2018). Learning From Millions of 3D Scans for Large-Scale 3D Face Recognition, pp. 1896-1905. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
10. Xuepeng Shi et al. (2018). Real-Time Rotation-Invariant Face Detection with Progressive Calibration Networks, pp. 2295-2303. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

DOI: 10.14489/vkit.2019.07.pp.010-019

Скопируйте DOI статьи и перейдите по ссылке https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

В комментарии к заказу обязательно укажите DOI статьи.

Eng

This article is available in electronic format (PDF).

DOI: 10.14489/vkit.2019.07.pp.010-019

Copy the article DOI and follow the link https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

Please specify the article DOI in the order comments.