10.14489/vkit.2023.01.pp.003-017

DOI: 10.14489/vkit.2023.01.pp.003-017

Блохинов Ю. Б., Андриенко Е. Э.
ПРОЕКТИРОВАНИЕ АВТОНОМНЫХ МОБИЛЬНЫХ КОМПЛЕКСОВ НА ОСНОВЕ МОДЕЛЬНЫХ ДАННЫХ
(c. 3-17)

Аннотация. Представлен метод выбора конфигурации съемочного оборудования мобильного комплекса, связанный с использованием виртуальной цифровой модели сенсоров и сцены, синтезированных с помощью графического движка Unreal Engine 4. В соответствии с параметрами реального прототипа созданы цифровые модели комплекса, сенсоров и их виртуальных данных. С учетом технических характеристик выбранных сенсоров рассмотрены варианты их размещения. Разработано программное обеспечение поддержки моделирования комплекса. Для отработки алгоритмов и выбора наилучшего варианта установки съемочного оборудования проведены численные эксперименты на модельных данных. Результаты расчетов подтверждают возможность получения достаточно высокой точности калибровки и их относительную независимость от размещения камер при наличии в цепи лидара.

Ключевые слова: мобильный комплекс; автономная навигация; комплекс моделирования виртуальных сцен; синтезирование данных; виртуальные сенсоры; цифровая модель сенсоров и сцены; графический движок; калибровочный стенд; автоматическая калибровка системы; фотограмметрическое уравнивание.

Blokhinov Yu. B., Andrienko E. E.
DESIGN OF AUTONOMOUS ROBOTIC PLATFORMS BASED ON MODEL DATA
(pp. 3-17)

Abstract. The article presents a method for selecting the configuration of the shooting equipment of a robotic platform, associated with the use of virtual digital models of sensors and a scene. The topic is really actual, since a number of complex technical and interesting scientific problems of computer vision are currently associated with the use of autonomous mobile systems. Technical difficulties are determined, first of all, by the fact that such complexes are equipped with many different sensors, the data from which must be processed in a single coordinate system with high accuracy. To do this, it is necessary to calibrate the system using an object with a special markup, the use of which allows you to effectively use computer vision algorithms and make the process fully automatic. The accuracy of the relative orientation of the sensors, which can be achieved in this case, can be considered a quality criterion when choosing survey equipment. In the process of designing a platform, it is rather difficult to determine in advance how many sensors and their placement is optimal in terms of the result - obtaining a high quality digital scene model. In this situation, it is natural to compare different hardware configurations and choose from them. However, to obtain the required amount of real data, a significant amount of time is required to work with complex expensive equipment. The key to solving the problem may be the use of virtual data - a realistic digital model of the sensors and the scene, synthesized using the graphics engine. This paper presents the process of designing a promising vehicle, including the selection and placement of shooting equipment on the platform – cameras and lidars. The best configuration is selected from the three proposed according to the criterion of the accuracy of restoring the positions of the sensors during the calibration process. The application software was developed on the basis of the Unreal Engine 4 graphics engine. Digital models of the vehicle, sensors and scene were created in accordance with the parameters of the real prototype. Taking into account the technical characteristics of the sensors, three options for their placement have been created. For each variant, survey data from all virtual sensors were synthesized, and numerical experiments were carried out on these data. A comparative analysis of the calculation results is carried out.

Keywords: Robotic platform; Autonomous navigation; Complex of virtual scene simulation; Data synthesis; Virtual sensors; Digital model of sensors and scene; Graphics engine; Calibration stand; Automatic system calibration; Bundle adjustment.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Ю. Б. Блохинов, Е. Э. Андриенко (ФАУ «Государственный научно-исследовательский институт авиационных систем», Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

Yu. B. Blokhinov, E. E. Andrienko (FAI “State Research Institute of Aviation Systems”, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Semantic Scene Understanding for the Autonomous Platform / B. Vishnyakov, Yu. Blokhinov, I. Sgibnev et al. // Int. Arch. Photogrammetry, Remote Sensing and Spatial Information Sciences. 2020. V. XLIII-B2. P. 637 – 644.
2. Sgibnev I., Sorokin A., Vishnyakov B., Vizilter Yu. Deep Semantic Segmentation for the Off-Road Autonomous Driving // Int. Arch. Photogrammetry, Remote Sensing and Spatial Information Sciences. 2020. V. XLIII-B2. P. 617 – 622.
3. Блохинов Ю. Б., Андриенко Е. Э., Казахмедов К. К., Вишняков Б. В. Автоматическая калибровка системы видеокамер и лидаров для автономных мобильных комплексов // Компьютерная оптика. 2021. Т. 45, № 3. С. 382 – 395.
4. Garrido-Jurado S., Muñoz-Salinas R., Madrid-Cuevas F. J., Marín-Jiménez M. J. Automatic Generation and Detection of Highly Reliable Fiducial Markers under Occlusion // Pattern Recognition. 2014. V. 47, No. 6. Р. 2280 – 2292. DOI: 10.1016/j.patcog.2014.01.005
5. Romero-Ramirez F. J., Muñoz-Salinas R., Medina-Carnicer R. Speeded up Detection of Squared Fiducial Markers // Image and Vision Computing. 2018. No. 76. P. 38 – 47.
6. Umeyama S. Least-Squares Estimation of Transformation Parameters between Two Point Patterns // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1991. V. 13, No. 4. P. 376 – 380.
7. Михайлов А. П., Чибуничев А. Г. Фотограмметрия. М.: МИИГАиК, 2016. 357с.
8. Тюфлин Ю. С. Космическая фотограмметрия при изучении планет и спутников. М.: Недра, 1986. 247 с.
9. Triggs B., McLauchlan P., Hartley R., Fitzgibbon A. Bundle Adjustment – A Modern Synthesis // International Conference on Computer Vision '99 (Proceedings of the International Workshop on Vision Algorithms): Theory and Practice. Stringer-Verbag, London, 2000. P. 298 – 372.

Eng

1. Vishnyakov B., Blokhinov Yu., Sgibnev I. et al. (2020). Semantic Scene Understanding for the Autonomous Platform. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLIII-B2, pp. 637 – 644.
2. Sgibnev I., Sorokin A., Vishnyakov B., Vizilter Yu. (2020). Deep Semantic Segmentation for the Off-Road Autonomous Driving. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLIII-B2, pp. 617 – 622.
3. Blohinov Yu. B., Andrienko E. E., Kazahmedov K. K., Vishnyakov B. V. (2021). Automatic calibration of a system of video cameras and lidars for autonomous mobile complexes. Komp'yuternaya optika, Vol. 45, (3), pp. 382 – 395. [in Russian language]
4. Garrido-Jurado S., Muñoz-Salinas R., Madrid-Cuevas F. J., Marín-Jiménez M. J. (2014). Automatic Generation and Detection of Highly Reliable Fiducial Markers under Occlusion. Pattern Recognition, Vol. 47, (6), pp. 2280 – 2292. DOI: 10.1016/j.patcog.2014.01.005
5. Romero-Ramirez F. J., Muñoz-Salinas R., Medina-Carnicer R. (2018). Speeded up Detection of Squared Fiducial Markers. Image and Vision Computing, 76, pp. 38 – 47.
6. Umeyama S. (1991). Least-Squares Estimation of Transformation Parameters between Two Point Patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 13, (4), pp. 376 – 380.
7. Mihaylov A. P., Chibunichev A. G. (2016). Photogrammetry. Moscow: MIIGAiK. [in Russian language]
8. Tyuflin Yu. S. (1986). Space photogrammetry in the study of planets and satellites. Moscow: Nedra. [in Russian language]
9. Triggs B., McLauchlan P., Hartley R., Fitzgibbon A. (2000). Bundle Adjustment – A Modern Synthesis. International Conference on Computer Vision '99 (Proceedings of the International Workshop on Vision Algorithms): Theory and Practice, pp. 298 – 372. London: Stringer-Verbag.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2023.01.pp.003-017

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2023.01.pp.003-017

and fill out the form