10.14489/vkit.2026.02.pp.003-012

DOI: 10.14489/vkit.2026.02.pp.003-012

Бекетова И. В., Герасименко А. А., Горемычкин В. И., Худяков А. М., Горбачев В. А.
КОМПЛЕКСНАЯ ИДЕНТИФИКАЦИЯ ЛИЧНОСТИ НА ОСНОВЕ ИНТЕГРАЦИИ ИЗОБРАЖЕНИЙ ЛИЦ И ТЕКСТОВЫХ ПЕРСОНАЛЬНЫХ ДАННЫХ
(c. 3-12)

Аннотация. Традиционные мономодальные подходы к автоматической идентификации личности, основанные исключительно на текстовых реквизитах (ФИО, паспортные данные) или биометрических данных (распознавание лица, отпечатков пальцев), обладают существенными ограничениями, связанными с ошибками или подделками данных. Для повышения надежности идентификации предложено использовать бимодальные системы, сочетающие биометрические и текстовые данные. Включение цифровых изображений лица в состав персональных реквизитов обеспечивает дополнительный уровень защиты благодаря уникальности характеристик изображений лиц. Комплексное применение биометрии и текстовых данных повышает точность идентификации и снижает вероятность ложных срабатываний.

Ключевые слова: автоматическая идентификация личности; биометрические данные; бимодальные системы; сверточные нейронные сети; нечеткий поиск; комплексирование информации.

Beketova I. V., Gerasimenko A. A., Goremychkin V. I., Khudyakov A. M., Gorbachev V. A.
COMPLEX IDENTIFICATION OF A PERSON BASED ON THE INTEGRATION OF FACIAL IMAGES AND TEXTUAL PERSONAL DATA
(pp. 3-12)

Abstract. Traditional monomodal approaches to automatic identification, based solely on textual data (full name, passport data) or biometric data (e.g., facial recognition, fingerprints), have significant limitations due to errors caused by a variety of objective and subjective factors, or data tampering. To enhance the reliability of identification, it is proposed to use bimodal systems that combine biometric and textual data. The inclusion of digital facial images in personal data related to their detection, key point extraction, and 128-dimensional feature vector extraction provides an additional layer of protection due to the unique characteristics of facial images. As an example, the comparative characteristics of pre-trained models from software libraries are presented. The process of identification based on textual details is implemented through a fuzzy search mechanism that calculates a measure of similarity between the input text query and the records stored in the database using the Damerau-Levenshtein distance calculation method. In the context of evaluating the quality of complex facial image identification, indicators based on the error matrix for binary classification were considered. The combined use of biometric and textual data improves the accuracy of identification and reduces the likelihood of false positives. To evaluate the program's performance, we provide final examples of working with individual identifiers, which show the results of searching for messages using different approaches for sorting data similarity.

Keywords: Automatic personal identification; Biometric data; Bimodal systems; Convolutional neural networks; Fuzzy search; Information complexing.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

И. В. Бекетова, А. А. Герасименко, В. И. Горемычкин, А. М. Худяков (филиал Государственного научно-исследовательского института авиационных систем «Центр обработки документов», Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
В. А. Горбачев (Государственный научно-исследовательский институт авиационных систем, Москва, Россия)

Eng

I. V. Beketova, A. A. Gerasimenko, V. I. Goremychkin, A. M. Khudyakov (Branch of GosNIIAS Document Processing Center, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
V. A. Gorbachev (GosNIIAS, Moscow, Russia)

+ - Библиографический список (References) Click to collapse

Рус

1. Davis E. King. Dlib-ml: A Machine Learning Toolkit // Journal of Machine Learning Research. 2009. V. 10. P. 1755–1758.
2. Дарморезов В. Использование InsightFace для быстрого поиска и сравнения лиц на изображениях. NewTechAudit: сайт. 2023. URL: https://habr.com/ru/articles/773744/ (дата обращения: 04.08.2025).
3. Levenshtein V. I. Binary Codes Capable of Correcting Deletions // Insertions and Reversals. 1966. V. 10. P. 707–710.
4. Bard Gregory V. Spelling-error tolerant, order-independent pass-phrases via the Damerau–Levenshtein string-edit distance metric // Conferences in Research and Practice in Information Technology (CRPIT), Australian Computer Society (ASE 2005). 31 January – 04 Feb. 2005. V. 42. P. 117–126.
5. Бойцов Л. М. Классификация и экспериментальное исследование современных алгоритмов нечеткого словарного поиска // Тр. XIII Межд. науч.-техн. конфер. Информационные технологии и системы (ИТС-2010). 15–18 ноября 2010 г. Воронеж: Изд-во Воронеж. гос. ун-та, 2010. С. 105–115.
6. Jones K. S. A statistical interpretation of term specificity and its application in retrieval // Journal of Documentation MCB University. 2004. V. 60(5). P. 493–502.

Eng

1. King, D. E. (2009). Dlib-ml: A machine learning toolkit. Journal of Machine Learning Research, 10, 1755–1758. https://jmlr.org/papers/v10/king09a.html
2. Darmorezov, V. (2023). Using InsightFace for fast face search and comparison in images. NewTechAudit. Retrieved August 4, 2025, from https://habr.com/ru/articles/773744/ [in Russian language].
3. Levenshtein, V. I. (1966). Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics Doklady, 10, 707–710.
4. Bard, G. V. (2005). Spelling-error tolerant, order-independent pass-phrases via the Damerau–Levenshtein string-edit distance metric. In Proceedings of the Fifth Australasian Conference on Information Security and Privacy (Vol. 42, pp. 117–126). Australian Computer Society.
5. Boitsov, L. M. (2010). Classification and experimental study of modern fuzzy dictionary search algorithms. In Trudy XIII Mezhdunarodnoi Nauchno-Tekhnicheskoi Konferentsii "Informatsionnye Tekhnologii i Sistemy" (ITS-2010) (pp. 105–115). Izdatel'stvo Voronezhskogo Gosudarstvennogo Universiteta. [in Russian language].
6. Jones, K. S. (2004). A statistical interpretation of term specificity and its application in retrieval. Journal of Documentation, 60(5), 493–502.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

DOI: 10.14489/vkit.2026.02.pp.003-012

Скопируйте DOI статьи и перейдите по ссылке https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

В комментарии к заказу обязательно укажите DOI статьи.

Eng

This article is available in electronic format (PDF).

DOI: 10.14489/vkit.2026.02.pp.003-012

Copy the article DOI and follow the link https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

Please specify the article DOI in the order comments.