|
DOI: 10.14489/vkit.2020.07.pp.003-014
Богуш Р. П., Захарова И. Ю., Абламейко С. В.
АЛГОРИТМ СОПРОВОЖДЕНИЯ ЛЮДЕЙ НА ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ С ИСПОЛЬЗОВАНИЕМ ИДЕНТИФИКАЦИИ ПО ЛИЦАМ ДЛЯ НАБЛЮДЕНИЯ ВНУТРИ ПОМЕЩЕНИЙ
(c. 3-14)
Аннотация. Представлен алгоритм сопровождения людей по видеопоследовательностям с использованием результатов идентификации по лицам при сложной траектории их движения внутри помещения. На первом шаге выполняется обнаружение людей с применением сверточной нейронной сети с архитектурой YOLO v3 и их описанием прямоугольной областью. Эксперименты проведены на пяти тестовых видеопоследовательностях с различным количеством людей, снятых в помещениях неподвижной видеокамерой. Получены основные характеристики разработанного алгоритма, которые подтвердили его эффективность.
Ключевые слова: сопровождение людей; распознавание лиц; внутреннее видеонаблюдение; сверточные нейронные сети.
Bogush R. P., Zakharova I. Yu., Ablameyko S. V.
ALGORITHM FOR PERSON TRACKING ON VIDEO SEQUENCES USING FACE IDENTIFICATION FOR INDOOR SURVEILLANCE
(pp. 3-14)
Abstract. This paper discusses the algorithmic framework for tracking people on indoor video. To improve tracking accuracy was used face identification algorithm to reduce errorr rate during complicated trajectory of persons in indoor environment. Object detection was performed with CNN Yolov3 that extract rectangular area as a result. Face detection task was resolved eith Cascade CNN MTCNN with following recognition using CNN MobileFaceNetwork. To form person features we used historgrams in HSV colorspave and CNN that includes 29 convolution layers followed by fully connected layer. The Hungarian algorithm was used as decision maker for allignment problem. Experiments were conducted on five videosequences with the variable number of people in it. The main characteristics of the developed algorithm are obtained which confirmed its effectiveness and the possibility of use for indoor video surveillance.
Keywords: Person tracking; Face recognition; Indoor video surveillance; Convolutional neural networks.
Р. П. Богуш, И. Ю. Захарова (Полоцкий государственный университет, Полоцк, Республика Беларусь)
С. В. Абламейко (Белорусский государственный университет, Минск, Республика Беларусь) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
R. P. Bogush, I. Yu. Zakharova (Polotsk State University, Polotsk, Belarus)
S. V. Ablameyko (Belarusian State University, Minsk, Belarus) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Лукьяница А. А., Шишкин А. Г. Цифровая обработка видеоизображений. М.: Ай-Эс-Эс Пресс, 2009. 518 с.
2. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б. А. Алпатов и др. М.: Радиотехника, 2008. 176 с.
3. MOTChallenge: The Multiple Object Tracking Benchmark [Электронный ресурс]. URL: https:// motchallenge.net/ (дата обращения: 20.01.2019).
4. Chahyati D., Fanany M. I., Arymurthy A. M. Tracking People by Detection Using CNN Features // Proceedings of the 4th Information Systems International Conference (ISICO 2017). Indonesia, Bali, 6 – 8 November 2017. Bali, 2017. P. 167–172.
5. Wojke N., Bewley A., Paulus D. Simple Online and Realtime Tracking with a Deep Association Metric // Proceedings of the IEEE International Conference on Image Processing (ICIP). China, Beijing, 17 – 20 September 2017. Beijing, 2017. P. 3645 – 3649.
6. Bohush R. P., Zakharava I. Yu. Robust Person Tracking Algorithm Based on Convolutional Neural Network for Indoor Video Surveillance // Communications in Computer and Information Science. 2019. V. 1055. P. 289 – 300.
7. Iqbal U., Milan A., Gall J. PoseTrack: Joint Multi-person Pose Estimation and Tracking // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Hawaii, Honolulu, 21 – 26 July 2017. Honolulu, 2017. P. 4654 – 4663.
8. People Tracking and Re-identification by Face Recognition for RGB-D Camera Networks / K. Koide et al. // Proceedings of the 2017 European Conference on Mobile Robots (ECMR), 6 – 8 September 2017, Paris, France. 2007. P. 1 – 7.
9. Schroff F., Kalenichenko D., Philbin J. FaceNet: A Unified Embedding for Face Recognition and Clustering // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recogni-tion (CVPR). USA, Boston, MA, 7 – 12 June 2015. Boston, MA, 2015. P. 815 – 823.
10. Person Re-identification for Improved Multi-person Multi-camera Tracking by Continuous Entity Association / N. Narayan et al. // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Hawaii, Honolulu, 21 – 26 July 2017. Honolulu, 2017. P. 64 – 70.
11. YOLOv3: An Incremental Improvement [Электронный ресурс]. URL: https://arxiv.org/abs/ 1804.02767 (дата обращения: 10.11.2018).
12. ArcFace: Additive Angular Margin Loss for Deep Face Recognition / J. Deng et al. // Computing Research Repository. 2019. arXiv:1801.07698v3 [Элек¬тронный ресурс]. URL: https://arxiv.org/abs/1801. 07698.pdf (дата обращения: 16.06.2019).
13. InsightFace Model Zoo [Электронный ресурс]. URL: https://github.com/deepinsight/insightface/ wiki/Model-Zoo MTCNN (дата обращения: 16.06.2019).
14. Ma M. H., Wang J. Multi-View Face Detection and Landmark Localization Based on MTCNN // Procee¬dings of the 2018 Chinese Automation Congress (CAC), 23 – 25 November, 2018, Shannxi Province, China. 2018. P. 4200 – 4205. doi:10.1109/cac.2018.8623535
15. WIDER FACE: A Face Detection Benchmark / Sh. Yang et al. // Computing Research Repository. 2015. arXiv:1511.06523 [Электронный ресурс]. URL: https://arxiv.org/pdf/1511.06523.pdf (дата обращения: 16.06.2019).
16. RetinaFace: Single-stage Dense Face Locali-sation in the Wild / J. Deng et al. // Computing Research Repository. 2019. arXiv:1905.00641v2 [Электронный ресурс]. URL: https://arxiv.org/pdf/1905.00641.pdf (дата обращения: 16.06.2019).
17. Kuhn H. W. The Hungarian Method for the Assignment Problem // Naval Research Logistics Quarterly. 1955. No. 2. P. 83 – 97.
18. LabelImg is a Graphical Image Annotation tool and Label Object Bounding Boxes in Images [Электронный ресурс]. URL: https://github.com/ tzutalin/labelImg (дата обращения: 16.06.2019).
19. Keni B., Stiefelhagen R. Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics // EURASIP Journal on Image and Video Processing. 2008. V. 1. P. 1 – 10.
1. Luk'yanitsa A. A., Shishkin A. G. (2009). Digital video processing. Moscow: Ay-Es-Es Press. [in Russian language]
2. Alpatov Yu. A. et al. (2008). Methods for automatic detection and tracking of objects. Image Processing and Management. Moscow: Radiotekhnika. [in Russian language]
3. MOTChallenge: The Multiple Object Tracking Benchmark. Available at: https://motchallenge.net/ (Accessed: 20.01.2019).
4. Chahyati D., Fanany M. I., Arymurthy A. M. (2017). Tracking People by Detection Using CNN Features. Proceedings of the 4th Information Systems International Conference (ISICO 2017), pp. 167 – 172. Bali.
5. Wojke N., Bewley A., Paulus D. (2017). Simple Online and Realtime Tracking with a Deep Association Metric. Proceedings of the IEEE International Conference on Image Processing (ICIP), pp. 3645 – 3649. Beijing.
6. Bohush R. P., Zakharava I. Yu. (2019). Robust Person Tracking Algorithm Based on Convolutional Neural Network for Indoor Video Surveillance. Communications in Computer and Information Science, Vol. 1055, pp. 289 – 300.
7. Iqbal U., Milan A., Gall J. (2017). PoseTrack: Joint Multi-person Pose Estimation and Tracking. Pro¬ceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4654 – 4663. Honolulu.
8. Koide K. et al. (2017). People Tracking and Re-identification by Face Recognition for RGB-D Camera Networks. Proceedings of the 2017 European Conference on Mobile Robots (ECMR), pp. 1 – 7. Paris.
9. Schroff F., Kalenichenko D., Philbin J. (2015). FaceNet: A Unified Embedding for Face Recognition and Clustering. Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 815 – 823. Boston.
10. Narayan N. et al. (2017). Person Re-identification for Improved Multi-person Multi-camera Tracking by Continuous Entity Association. Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 64 – 70. Honolulu.
11. YOLOv3: An Incremental Improvement. Available at: https://arxiv.org/abs/1804.02767 (Accessed: 10.11.2018).
12. Deng J. et al. (2019). ArcFace: Additive Angular Margin Loss for Deep Face Recognition. Computing Research Repository. arXiv:1801.07698v3. Available at: https://arxiv.org/abs/1801. 07698.pdf (Accessed: 16.06.2019).
13. InsightFace Model Zoo. Available at: https://github.com/deepinsight/insightface/ wiki/Model-Zoo MTCNN (Accessed: 16.06.2019).
14. Ma M. H., Wang J. (2018). Multi-View Face Detection and Landmark Localization Based on MTCNN. Proceedings of the 2018 Chinese Automation Congress (CAC), pp. 4200 – 4205. Shannxi Prov-ince.doi:10.1109/cac.2018.8623535
15. Yang Sh. et al. (2015). WIDER FACE: A Face Detection Benchmark. Computing Research Repository. arXiv:1511.06523. Available at: https://arxiv.org/ pdf/1511.06523.pdf (Accessed: 16.06.2019).
16. Deng J. et al. (2019). RetinaFace: Single-stage Dense Face Localisation in the Wild. Computing Research Repository. arXiv:1905.00641v2. Available at: https://arxiv.org/pdf/1905.00641.pdf (Accessed: 16.06.2019).
17. Kuhn H. W. (1955). The Hungarian Method for the Assignment Problem. Naval Research Logistics Quarterly, (2), pp. 83 – 97.
18. LabelImg is a Graphical Image Annotation tool and Label Object Bounding Boxes in Images. Available at: https://github.com/tzutalin/labelImg (Accessed: 16.06.2019).
19. Keni B., Stiefelhagen R. (2008). Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics. EURASIP Journal on Image and Video Processing, Vol. 1, pp. 1 – 10.
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2020.07.pp.003-014
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2020.07.pp.003-014
and fill out the form
.
|
Текущий номер
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»