10.14489/vkit.2017.03.pp.025-033

DOI: 10.14489/vkit.2017.03.pp.025-033

Князь В. А., Степаньянц Д. Г., Тюфлин Ю. С.
АВТОМАТИЧЕСКОЕ ПОСТРОЕНИЕ 3D-МОДЕЛИ СЦЕНЫ ПО ДАННЫМ СЪЕМКИ БЕСПИЛОТНЫМИ ЛЕТАТЕЛЬНЫМИ АППАРАТАМИ
(c. 25-33)

Аннотация. Предложена методика обработки данных съемки земной поверхности беспилотными летательными аппаратами (БПЛА), позволяющая в автоматическом режиме создавать трехмерные модели наблюдаемой сцены. Использован оригинальный метод выделения и прослеживания элементов сцены, инвариантных к малым ракурсным искажениям и изменениям освещенности. Создан массив опорных точек, необходимых для решения задач ориентирования снимков и построения единой модели поверхности из частных фрагментов, полученных по отдельным стереопарам. Рассчитана «плотная» модель рельефа на основе корреляционного сопоставления соответственных точек смежных снимков. Разработано программное обеспечение, реализующее разработанные алгоритмы и проведены исследования их качества на макетных данных. Выполнено сравнение результатов трехмерной реконструкции рельефа местности по предложенной методике с эталонной трехмерной моделью.

Ключевые слова: беспилотный летательный аппарат; трехмерная модель поверхности; ориентирование снимков; оценка неизвестных параметров; выделение и прослеживание элементов сцены; дескриптор характерных черт.

Knyaz V. A., Stepanyantc D. G., Tjuflin Yu. S.
AUTOMATED TERRAIN 3-DIMENSIONAL MODEL GENERATION FROM UNMANNED AERIAL VEHICLE IMAGERY
(pp. 25-33)

Abstract. The technique for automated processing of an imagery acquired by unmanned aerial vehicle for terrain 3D model generation is presented. It includes the next steps of image sequence processing: image features detection and tracking through the image sequence, corresponding points identification and matching for all images in the sequence, exterior orientation of the images, 3D coordinates calculation for detected corresponding points, dense digital terrain model generation using correlation approach for correspondence problem solution. The proposed technique uses the original method for feature detection and tracking which is invariant for small radiometric and geometric image distortions which allows to improve the robustness of the point tracking. Detected features are used for exterior image orientation and draft terrain 3D model generation. At the final step of processing “dense” terrain spatial model is produced by sequential image correlation. The developed algorithms are implemented in the experimental software. The quality of the developed algorithms is evaluated on scaled terrain model. The results of 3D reconstruction by the proposed technique are compared with reference terrain 3D model obtained by optical 3D scanning.

Keywords: Unmanned aerial vehicle; Surface 3D model; Image orientation; Unknown parameters estimation; Feature detection and tracking; feature descriptor.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

В. А. Князь, Д. Г. Степаньянц, Ю. С. Тюфлин (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

V. A. Knyaz, D. G. Stepanyantc, Yu. S. Tjuflin (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Тюфлин Ю. С., Князь В. А., Степаньянц Д. Г. Оперативный мониторинг земной поверхности средствами беспилотных летательных аппаратов // Вестник компьютерных информационных технологий. 2015. № 4. C. 25 – 30. doi: 10.14489/vkit.2015.04.pp.025-030
2. Морозов В. П. Курс сфероидической геодезии. 2-е изд., перераб. и доп. М.: Недра, 1979. 296 с.
3. Knyaz V. A. Multi-Media Projector – Single Camera Photogrammetric System for Fast 3D Reconstruction // Proc. of the ISPRS Commission V Mid-Term Symp. 'Close Range Image Measurement Techniques' (ISPRS – 2010), Newcastle upon Tyne, United Kingdom, 21 – 24 June 2010. Newcastle upon Tyne. 2010. V. XXXVIII. № 5. P. 343 – 348.
4. Beyer H. Advances in Characterization and Calibration of Digital Imaging Systems // Intern. Archives of Photogrammetry and Remote Sensing. 17th ISPRS Congress, Washington DC, USA, 2 – 14 Aug. 1992. Washington DC. V. 29. Р. 545 – 555.
5. Harris C. A., Stephens M. Combine Corner and Edge Detector // Proc. of the Fourth Alvey Vision Conference, Manchester, UK, 31 Aug. – 2 Sep. 1988. Manchester. Р. 147 – 151. doi:10.5244/C.2.23
6. SURF: Speeded Up Robust Features / B. Herbert, A. Ess, T. Tuytelaars et al. // Computer Vision and Image Understanding (CVIU). 2008. V. 110, № 3. Р. 346 – 359.
7. Lowe D. G . Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. V. 60, № 2. Р. 91 – 110.
8. Vishnyakov B., Vizilter Yu., Knyaz V. Spectrum-Based Object Detection and Tracking Technique for Digital Video Surveillance // Intern. Arch. of the Photogrammetry, Remote Sensing and Spatial Inf. Sci. – ISPRS Archives. 22nd Congress of the Intern. Society for Photogrammetry and Remote Sensing (ISPRS – 2012), Melbourne, Australia, 25 Aug. – 01 Sep. 2012. Melbourne. 2012. P. 579 – 583.
9. Stereo Sequences Analysis for Dynamic Scene Understanding in a Driver Assistance System / B. Vishnyakov, Y. Vizilter, V. Knyaz et al. // Proc. of SPIE – the Inter¬national Society for Optical Engineering. Automated Visual Inspection and Machine Vision. SPIE Proceedings. 2015. V. 9530. 9 p. doi: 10.1117/12.2184849
10. Knyaz V. A., Zheltov S. Yu., Vishnyakov B. V. Robust Object Tracking Techniques for Vision-Based 3D Motion Analysis Applications // Proc. SPIE 9896, Optics, Photonics and Digital Technologies for Imaging Applications IV, 98961D (April 29, 2016). SPIE Proceedings. 2016. V. 9896. 9 p. doi: 10.1117/12.2227879

Eng

1. Tjuflin Yu. S., Knyaz V. A., Stepanyantc D. G. (2015). Earth surface monitoring using unmanned aerial vehicles. Vestnik komp'iuternykh informatsionnykh tekhnologii, 130(4), pp. 25-30. doi: 10.14489/vkit.2015.04.pp.025-030 [in Russian language]
2. Morozov V. P. (1979). Course of spheroidal geodesy. (2nd (Revised and Supplemented) ed.). Moscow: Nedra. [in Russian language]
3. Knyaz V. A. (2010). Multimedia projector – single camera photogrammetric system for fast 3D reconstruction. Proc. of the ISPRS Commission V Mid-Term Symp. 'Close Range Image Measurement Techniques' (ISPRS – 2010). (pp. 343 – 348). Newcastle upon Tyne, United Kingdom, 21 – 24 June 2010. Newcastle upon Tyne. 2010. V. XXXVIII, (5).
4. Beyer H. (1992). Advances in characterization and calibration of digital imaging systems. Intern. Archives of Photogrammetry and Remote Sensing. 17th ISPRS Congress. (pp. 545 – 555). Washington DC, USA, 2 – 14 Aug. 1992. Washington DC. Vol. 29.
5. Harris C. A., Stephens M. (1988). Combine corner and edge detector. Proc. of the Fourth Alvey Vision Conference. (pp. 147-151). Manchester, UK, 31 Aug. – 2 Sep. 1988. Manchester. doi:10.5244/C.2.23
6. Herbert B., Ess A., Tuytelaars T. et al. (2008). SURF: Speeded up robust features. Computer Vision and Image Understanding (CVIU), 110(3), pp. 346-359. doi: 10.1016/j.cviu.2007.09.014
7. Lowe D. G. (2004). Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2), pp. 91-110. doi: 10.1023/b:visi.0000029664. 99615.94
8. Vishnyakov B., Vizilter Yu., Knyaz V. (2012). Spectrum-based object detection and tracking technique for digital video surveillance. Intern. Arch. of the Photogrammetry, Remote Sensing and Spatial Inf. Sci. – ISPRS Archives. 22nd Congress of the Intern. Society for Photogrammetry and Remote Sensing (ISPRS – 2012), (pp. 579-583). Melbourne, Australia, 25 Aug. – 01 Sep. 2012. Melbourne.
9. Vishnyakov B. V., Vizilter Y., Knyaz V. A. et al. (2015). Stereo sequences analysis for dynamic scene understanding in a driver assistance system. Proc. of SPIE – the International Society for Optical Engineering. Automated Visual Inspection and Machine Vision. SPIE Proceedings, 9530. doi: 10.1117/12.2184849
10. Knyaz V. A., Zheltov S. Yu., Vishnyakov B. V. (2016). Robust object tracking techniques for vision-based 3D motion analysis applications. Proc. SPIE 9896, Optics, Photonics and Digital Technologies for Imaging Applications IV, 98961D (April 29, 2016). SPIE Proceedings, 9896. doi: 10.1117/12.2227879

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2017.03.pp.025-033

и заполните ФОРМУ

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2017.03.pp.025-033

and fill out the FORM