|
DOI: 10.14489/vkit.2020.05.pp.013-022
Калина Д. А., Голованов Р. В., Воротнев Д. В.
АЛГОРИТМ РАСПОЗНАВАНИЯСТАТИЧЕСКИХ ЖЕСТОВ РУКИ НА ОСНОВЕ СКЕЛЕТИЗАЦИИ
(с. 13-22)
Аннотация. Представлен алгоритм распознавания статических жестов руки на основе анализа 2D-изображений с помощью предобученной нейронной сети, имеющей модифицированную архитектуру сверточной машины позы. Дано описание алгоритма поиска ключевых точек суставов руки и кончиков пальцев на заданном изображении по отклику нейронной сети, представляющему собой тепловую карту признаков положения суставов, а также процесс скелетизации. Предложен способ построения дескриптора статического жеста по ключевым точкам скелета кисти руки. Проведена оценка качества построенного дескриптора. Дано обоснование выбора модели распознавания статических жестов по их дескрипторам. Приведены результаты тестирования обученной модели на основе метода опорных векторов с радиальнобазисным ядром на общедоступных базах изображений. Продемонстрированы результаты сравнительного анализа качества распознавания представленного алгоритма с существующими современными алгоритмами.
Ключевые слова: распознавание статических жестов руки; скелетизация; ключевые точки суставов Библиографический список
Kalina D. A., Golovanov R. V., Vorotnev D. V.
ALGORITHM OF SKELETON-BASED STATIC HAND GESTURE RECOGNITION
(pp. 13-22)
Abstract. We present the monocamera approach of static hand gestures recognition based on skeletonization. The problem of creating skeleton of the human’s hand, as well as body, became solvable a few years ago after inventing so called convolutional pose machines – the novel architecture of artificial neural network. Our solution uses such kind of pretrained convolutional artificial network for extracting hand joints keypoints with further skeleton reconstruction. In this work we also propose special skeleton descriptor with proving its stability and distinguishability in terms of classification. We considered a few widespread machine learning algorithms to build and verify different classifiers. The quality of the classifier’s recognition is estimated using the wellknown Accuracy metric, which identified that classical SVM (Support Vector Machines) with radial basis kernel gives the best results. The testing of the whole system was conducted using public databases containing about 3000 of test images for more than 10 types of gestures. The results of a comparative analysis of the proposed system with existing approaches are demonstrated. It is shown that our gesture recognition system provides better quality in comparison with existing solutions. The performance of the proposed system was estimated for two configurations of standard personal computer: with CPU (Central Processing Unit) only and with GPU (Graphics Processing Unit) in addition where the latest one provides realtime processing with up to 60 frames per second. Thus we demonstrate that the proposed approach can find an application in the practice.
Keywords: Skeletonbased static hand gesture recognition; Skeletonization; Hand joint keypoints; Convolutional pose machines; Convolutional neural networks; Support vector machines.
Д. А. Калина (ООО «Ай Ти Ви Групп», Москва, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
Р. В. Голованов (Национальный исследовательский университет «Московский институт электронной техники», Москва, Зеленоград, Россия)
Д. В. Воротнев (АО Научно-производственный центр «Электронные вычислительно-информационные системы», Москва, Зеленоград, Россия)
D. A. Kalina (ITV Group Ltd, Moscow, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
R. V. Golovanov (National Research University of Electronic Technology, Moscow, Zelenograd, Russia)
D. V. Vorotnev (“ELVEES” R&D Center, JSC, Moscow, Zelenograd, Russia)
1. Marin G., Dominio F., Zanuttigh P. Hand Gesture Recognition with Leap Motion and Kinect Devices // IEEE Intern. Conf. on Image Processing (ICIP). 2014. P. 1565 – 1569. doi: 10.1109/ICIP.2014.7025313
2. Dominio F., Donadeo M., Zanuttigh P. Combining Multiple Depth-Based Descriptors for Hand Gesture Recognition // Pattern Recognition Letters. December 2014. V. 50, No. 1. P. 101 – 111. doi: 10.1016/j.patrec.2013.10.010
3. Hand Gesture Recognition with Depth Data / F. Dominio et al. // Proc. of the 4th ACM / IEEE Intern. Workshop on Analysis and Retrieval of Tracked Events and Motion in Imagery Stream. ARTEMIS’13. October 2013. P. 9 – 16. doi: 10.1145/2510650.2510651
4. Memo A., Minto L., Zanuttigh P. Exploiting Silhouette Descriptors and Synthetic Data for Hand Gesture Recognition // STAG: Smart Tools & Apps for Graphics. The Eurographics Association, 2015. P. 15 – 23.
5. Носов А. В. Алгоритм распознавания жестов рук на основе скелетной модели кисти руки // Вестник Сибирского государственного аэрокосмического университета им. академика М. Ф. Решетнева. 2014. № 2(54). С. 62 – 67.
6. Hand Keypoint Detection in Single Images Using Multiview Bootstrapping / T. Simon et al. // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). 2017. P. 1145 – 1153. doi: 10.1109/CVPR.2017.494
7. Convolutional Pose Machines / S.-E. Wei et al. // Proc. of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). 2016. P. 4724 – 4732.
8. SHREC’17 Track: 3D Hand Gesture Recognition Using a Depth and Skeletal Dataset / Q. de Smedt et al. // 3DOR – 10th Eurographics Workshop on 3D Object Retrieval. Apr. 2017, Lyon, France. P. 1 – 6. doi: 10.2312/3dor.20171049
9. Peterson L. E. K-Nearest Neighbor // Scholarpedia. 2009. V. 4, No. 2. P. 1883. URL: http://www.scholarpedia.org/ article/K-nearest_neighbor. doi: 10.4249/scholarpedia.1883 (дата обращения: 20.03.2020).
10. Hsu C.-W., Lin C.-J. A Comparison of Methods for Multiclass Support Vector Machines // IEEE Transactions on Neural Networks. August 2002. V. 13, No. 2. P. 415 – 425. doi: 10.1109/72.991427
11. Kohavi R. A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection // Proc. of the 14th Intern. Joint Conf. on Artificial Intelligence (IJCAI’95). Montreal, Canada. 1995. V. 14, No. 2. P. 1137 – 1145.
12. Precision-Recall Operating Characteristic (P-ROC) Curves in Imprecise Environments / A. P. Bradley et al. // Proc. of the 18th Intern. Conf. on Pattern Recognition (ICPR’06). 2006. V. 4. P. 123 – 127. doi: 10.1109/ICPR.2006.941
1. Marin G., Dominio F., Zanuttigh P. (2014). Hand Gesture Recognition with Leap Motion and Kinect Devices. IEEE International Conference on Image Processing (ICIP), pp. 1565 – 1569. doi: 10.1109/ICIP.2014.7025313
2. Dominio F., Donadeo M., Zanuttigh P. (2014). Combining Multiple Depth-Based Descriptors for Hand Gesture Recognition. Pattern Recognition Letters, Vol. 50, (1), pp. 101 – 111. doi: 10.1016/j.patrec.2013.10.010
3. Dominio F. et al. (2013). Hand Gesture Recognition with Depth Data Proceedings of the 4th ACM. IEEE International Workshop on Analysis and Retrieval of Tracked Events and Motion in Imagery Stream, pp. 9 – 16. ARTEMIS’13. doi: 10.1145/2510650.2510651
4. Memo A., Minto L., Zanuttigh P. (2015). Exploiting Silhouette Descriptors and Synthetic Data for Hand Gesture Recognition. STAG: Smart Tools & Apps for Graphics, pp. 15 – 23. The Eurographics Association.
5. Nosov A. V. (2014). Hand gesture recognition algorithm based on the skeleton model of the hand. Vestnik Sibirskogo gosudarstvennogo aerokosmicheskogo universiteta im. akademika M.F. Reshetneva, 54(2), pp. 62 – 67. [in Russian language]
6. Simon T. et al. (2017). Hand Keypoint Detection in Single Images Using Multiview Bootstrapping. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1145 – 1153. doi: 10.1109/CVPR.2017.494
7. Wei S.-E. et al. (2016). Convolutional Pose Machines. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4724 – 4732.
8. Q. de Smedt et al. (2017). SHREC’17 Track: 3D Hand Gesture Recognition Using a Depth and Skeletal Dataset. 3DOR – 10th Eurographics Workshop on 3D Object Retrieval, pp. 1 – 6. Lyon. doi: 10.2312/3dor.20171049
9. Peterson L. E. (2009). K-Nearest Neighbor. Scholarpedia, Vol. 4, (2). Available at: http://www.scholarpedia.org/article/K-nearest_neighbor. doi: 10.4249/scholarpedia.1883 (Accessed: 20.03.2020).
10. Hsu C.-W., Lin C.-J. (2002). A Comparison of Methods for Multiclass Support Vector Machines. IEEE Transactions on Neural Networks, Vol. 13, (2), pp. 415 – 425. doi: 10.1109/72.991427
11. Kohavi R. (1995). A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection. Proceedings of the 14th International Joint Conference on Artificial Intelligence (IJCAI’95), Vol. 14, (2), pp. 1137 – 1145. Montreal.
12. Bradley A. P. et al. (2006). Precision-Recall Operating Characteristic (P-ROC) Curves in Imprecise Environments. Proceedings of the 18th International Conference on Pattern Recognition (ICPR’06), Vol. 4, pp. 123 – 127. doi: 10.1109/ICPR.2006.941 руки; сверточные машины позы; сверточные нейронные сети; машины опорных векторов.
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2020.05.pp.013-022
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2020.05.pp.013-022
and fill out the form
.
|
Архив номеров
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»