|
DOI: 10.14489/vkit.2022.12.pp.003-011
Белов Н. И., Кузнецов А. Ю.
МЕТОДИКА ФОРМИРОВАНИЯ НАБОРА ДАННЫХ ДЛЯ ЗАДАЧ АУТЕНТИФИКАЦИИ ПО ТЕРМОГРАФИЧЕСКОМУ СНИМКУ ЛИЦА
(с. 3-11)
Аннотация. Рассматриваются вопросы обучения алгоритмов искусственного интеллекта для аутентификации людей по снимку лица в длинноволновом инфракрасном излучении, представлен анализ общедоступных и свободно распространяемых наборов данных других исследователей в данной области. По результатам исследования был сделан вывод о необходимости самостоятельного формирования выборок для обучения и тестирования алгоритмов машинного обучения, а также был разработан перечень требований к набору данных для применения обученных алгоритмов на реальных задачах. Проведен эксперимент, где алгоритм машинного обучения был обучен на каждом рассматриваемом наборе данных и протестирован на выборке, совмещающей по 15 изображений каждого набора (75 изображений). В результате эксперимента был сделан вывод, то алгоритм, обученный на собранном наборе данных, на наборах данных других исследователей, успешно справляется с задачей аутентификации пользователя по его термографическому снимку. Полученные результаты могут быть использованы в системах контроля и управления доступом для повышения характеристики отказоустойчивости при аутентификации лиц, а также в целях обучения моделей, нацеленных на теоретическое и практическое использование в задачах обработки термограмм, в частности для аутентификации человека по рисунку вен и сетей сосудов на его лице в случаях изменения мимики, внешности и окружающих условий.
Ключевые слова: компьютерное зрение; аутентификация человека по термографическому снимку лица; методика формирования набора данных; машинное обучение; изображение LWIR.
Belov N. I., Kuznetsov A. Yu.
METHODOLOGY OF DATASET COLLECTING FOR AN AUTHENTIFICATION TASK BASED ON A FACE THERMOGRAPHIC IMAGE
(pp. 3-11)
Abstract. This paper discusses the issues of training machine learning models for people authentication by the face image in longwave infrared radiation. The analysis of public available and freely distributed datasets of other researchers in the field, which contain images of people’s faces in infrared range, are discussed. It was concluded, that it is necessary to form a dataset for training and testing machine learning models on one’s own. To obtain the highest results using trained methods in practical purposes a list of requirements for the collected dataset was developed. In conclusion, an experiment was conducted, where the machine learning method (logistic regression) was trained on each dataset and tested on a sample of 15 images combining each dataset (75 images totally). During the experiment it was discovered, that the algorithm trained on the collected dataset successfully copes with both: the task of authenticating user by his thermal imaging on theoretical datasets and in the practical one. The results obtained can be used in access control and management systems to increase the fault tolerance characteristics for person authentication. The use of this dataset allows the model training aimed at theoretical and practical use in the tasks of processing thermograms, for the person authentication by the pattern of veins and vascular networks on the face in cases of changes in appearance and environmental conditions.
Keywords: Computer vision; Human authentication based on a thermographic face image; Data collection methodology; Machine learning; LWIR image.
Н. И. Белов, А. Ю. Кузнецов (Национальный исследовательский университет ИТМО, Санкт-Петербург, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
N. I. Belov, A. Yu. Kuznetsov (ITMO University, St. Petersburg, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Знаменская И. А., Коротеева Е. Ю., Хахалин А. В., Шишаков В. В. Термографическая визуализация и дистанционный анализ динамических процессов в области лица // Научная визуализация. 2016. Т. 8, № 5. С. 122 – 131.
2. Скрипаль А. В., Сагайдачный А. А., Усанов Д. А. Тепловизионная биомедицинская диагностика: учеб. пособие. Саратов: Изд-во Саратовского ун-та, 2009. 122 с.
3. Bourlai T., Cukic B. Multi-Spectral Face Recognition: Identification of People in Difficult Environments // 2012 IEEE International Conference on Intelligence and Security. 11 – 14 June, 2012. Washington, DC, USA, 2012.
4. Wu Z., Fuller N., Theriault D., Betke M. A Thermal Infrared Video Benchmark for Visual Analysis // Proceeding of 10th IEEE Workshop on Perception Beyond the Visible Spectrum (PBVS). 23 – 28 June, 2014. Columbus, Ohio, USA, 2014.
5. Thermal Infrared Face Recognition – a Biometric Identification Technique for a Robust Security System / M. K. Bhowmik, K. Saha, G. Majumder et al. // Reviews, Refinements and New Ideas in Face Recognition. Croatia: InTech, 2011. URL: https://www.researchgate.net/publication/221913961_Thermal_Infrared_Face_Recognition_ A_Biometric_Identification_Technique_for_Robust_Security_system (дата обращения: 17.11.2022).
6. Cutler R. Face Recognition Using Infrared Images and Eigenfaces. URL: https://www.researchgate. net/publication/2375350_Face_Recognition_Using_Infrared_Images_and_Eigenfaces (дата обращения: 17.11.2022).
7. Krišto M., Ivašić-Kos M. An Overview of Thermal Face Recognition Methods // 2018 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 21 – 25 May, 2018. Opatija, Croatia, 2018. DOI: 10.23919/MIPRO.2018.8400200
8. A Comparative Study of Human Thermal Face Recognition Based on Haar Wavelet Transform (HWT) and Local Binary Pattern (LBP) / A. Seal, S. Ganguly et al. URL: https://deepai.org/publication/a-comparative-study-of-human-thermal-face-recognition-based-on-haar-wavelet-transform-hwt-and-local-binary-pattern-lbp (дата обращения: 17.11.2022).
9. Lin S., Chen L., Chen W. Thermal Face Recognition under Different Conditions // BMC Bioinformatics. V. 22(5), 313 (2021) URL: https:// doi.org/10.1186/s12859-021-04228-y (дата обращения: 17.11.2022).
10. A Polarimetric Thermal Database for Face Recognition Research / S. Hu, N. Short, B. Riggan., C. Gordon et al. // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. 26 June 2016 – 01 July 2016. Las Vegas, NV, USA, 2016. DOI: 10.1109/CVPRW.2016.30
11. Akhloufi M. A., Abdelhakim B. Infrared Face Recognition Using Texture Descriptors // SPIE Defense, Security, and Sensing. 3 May 2010. Orlando, Florida, USA, 2010 // Proceeding. V. 7661. Thermosense XXXII. 766109 (2010). URL: http://doi.org/10.1117/12.849764 (дата обращения: 17.11.2022).
12. Face Recognition with LWIR Imagery Using Local Binary Patterns / H. Méndez, C. San Martín, J. Kittler et al. // International Conference on Biometrics. Advances in Biometrics. Lecture Notes in Computer Science. V. 5558. Springer, Berlin, Heidelberg. URL: https://doi.org/10.1007/978-3-642-01793-3_34 (дата обращения: 17.11.2022).
13. Improved RGB-D-T Based Face Recognition / M. O. Simón, C. Corneanu, K. Nasrollahi, O. Nikisins et al. // IET Biometrics. 2016. V. 5(4). P. 297 – 303. DOI: 10.1049/iet-bmt.2015.0057
14. Face Recognition by Fusing Thermal Infrared and Visible Imagery / G. Bebis, S. Singh et al. // Image and Vision Computing. 2006. V. 24(7). P. 727 – 742. DOI: 10.1016/j.imavis.2006.01.017
15. Palm R. B. Prediction as a Candidate for Learning Deep Hierarchical Models of Data. 2012. URL: http://www2.imm.dtu.dk/pubdb/edoc/imm6284.pdf (дата обращения: 17.11.2022).
1. Znamenskaya I. A., Koroteeva E. Yu., Hahalin A. V., Shishakov V. V. (2016). Thermographic visualization and remote analysis of dynamic processes in the face. Nauchnaya vizualizatsiya, Vol. 8, (5), pp. 122 – 131. [in Russian language]
2. Skripal' A. V., Sagaydachniy A. A., Usanov D. A. (2009). Thermal imaging biomedical diagnostics: textbook. Saratov: Izdatel'stvo Saratovskogo universiteta. [in Russian language]
3. Bourlai T., Cukic B. (2012). Multi-Spectral Face Recognition: Identification of People in Difficult Environments. 2012 IEEE International Conference on Intelligence and Security. Washington.
4. Wu Z., Fuller N., Theriault D., Betke M. (2014). A Thermal Infrared Video Benchmark for Visual Analysis. Proceeding of 10th IEEE Workshop on Perception Beyond the Visible Spectrum (PBVS). Columbus.
5. Bhowmik M. K., Saha K., Majumder G. et al. (2011). Thermal Infrared Face Recognition – a Biometric Identification Technique for a Robust Security System. Reviews, Refinements and New Ideas in Face Recognition. Croatia: InTech. Available at: https://www.research-gate.net/publication/221913961_Thermal_Infrared_Face_Recognition_A_Biometric_Identification_Technique_for_Robust_Security_system (Accessed: 17.11.2022).
6. Cutler R. Face Recognition Using Infrared Images and Eigenfaces. Available at: https://www.researchgate.net/publication/2375350_Face_Recognition_Using_Infrared_Images_and_Eigenfaces (Accessed: 17.11.2022).
7. Krišto M., Ivašić-Kos M. (2018). An Overview of Thermal Face Recognition Methods. 2018 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). Opatija.DOI: 10.23919/MIPRO.2018.8400200
8. Seal A., Ganguly S. et al. A Comparative Study of Human Thermal Face Recognition Based on Haar Wavelet Transform (HWT) and Local Binary Pattern (LBP). Available at: https://deepai.org/publication/a-comparative-study-of-human-thermal-face-recognition-based-on-haar-wavelet-transform-hwt-and-local-binary-pattern-lbp (Accessed: 17.11.2022).
9. Lin S., Chen L., Chen W. (2021). Thermal Face Recognition under Different Conditions. BMC Bioinformatics, Vol. 22(5), 313. Available at: https:// doi.org/10.1186/s12859-021-04228-y (Accessed: 17.11.2022).
10. Hu S., Short N., Riggan. B., Gordon C. et al. (2016). A Polarimetric Thermal Database for Face Recognition Research. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. Las Vegas. DOI: 10.1109/CVPRW.2016.30
11. Akhloufi M. A., Abdelhakim B. (2010). Infrared Face Recognition Using Texture Descriptors. SPIE Defense, Security, and Sensing. Proceeding. Vol. 7661. Thermosense XXXII. 766109. Orlando. Available at: http://doi.org/10.1117/12.849764 (Accessed: 17.11.2022).
12. Méndez H., San Martín C., Kittler J. et al. Face Recognition with LWIR Imagery Using Local Binary Patterns. International Conference on Biometrics. Advances in Biometrics. Lecture Notes in Computer Science, Vol. 5558. Berlin, Heidelberg: Springer. Available at: https://doi.org/10.1007/978-3-642-01793-3_34 (Accessed: 17.11.2022).
13. Simón M. O., Corneanu C., Nasrollahi K., Nikisins O. et al. (2016). Improved RGB-D-T Based Face Recognition. IET Biometrics, Vol. 5(4), pp. 297 – 303. DOI: 10.1049/iet-bmt.2015.0057
14. Bebis G. , Singh S. et al. (2006). Face Recognition by Fusing Thermal Infrared and Visible Imagery. Image and Vision Computing, Vol. 24(7), pp. 727 – 742. DOI: 10.1016/j.imavis.2006.01.017
15. Palm R. B. (2012). Prediction as a Candidate for Learning Deep Hierarchical Models of Data. Available at: http://www2.imm.dtu.dk/pubdb/edoc/imm6284.pdf (Accessed: 17.11.2022).
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2022.12.pp.003-011
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2022.12.pp.003-011
and fill out the form
.
|
Archive
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»