10.14489/vkit.2014.07.pp.008-013

DOI: 10.14489/vkit.2014.07.pp.008-013

Лебедев М. А., Бондаренко М. А., Комаров Д. В., Степаньянц Д. Г., Выголов О. В., Визильтер Ю. В., Желтов С. Ю.
АЛГОРИТМ АВТОМАТИЧЕСКОГО СОВМЕЩЕНИЯ СЕНСОРНОЙ И СИНТЕЗИРУЕМОЙ ВИДЕОИНФОРМАЦИИ ДЛЯ АВИАЦИОННОЙ СИСТЕМЫ КОМБИНИРОВАННОГО ВИДЕНИЯ
(с. 8-13)

Аннотация. Предложен алгоритм автоматического совмещения двух изображений – получаемого от бортовой камеры воздушного судна и синтезируемого по цифровой модели местности и неточным пилотажно-навигационным данным. Алгоритм основан на процедуре внешнего ориентирования камеры с опорой на точки взлетно-посадочной полосы. Приведен пример и результаты работы алгоритма при моделировании реальных траекторий захода на посадку.

Ключевые слова: техническое зрение; внешнее ориентирование; обнаружение; цифровая модель местности; комбинированное видение.

Lebedev M. A., Bondarenko M. A., Komarov D. V., Stepaniants D. G., Vygolov O. V., Vizilter Yu. V., Zheltov S. Yu.
AN ALGORITHM FOR REAL AND SYNTHETIC IMAGES MATCHING WITH APPLICATION TO AVIATION COMBINED VISION SYSTEM
(pp. 8-13)

Abstract. Information support of a flight crew during approach and landing in poor visibility still remains an important task of flight safety. In recent years, due to the increasing performance of onboard computers in 2D and 3D visual data processing, a Combined Vision System (CVS) has become one of the perspective display concept, aimed to enhance a flight visibility and a situation awareness of the flight crew. CVS combines a real image from optical sensor with a 3D synthetic image generated in onboard computer. To create the CVS image the pixels correspondence between real and synthetic images must be found, since the synthetic image is generated relying on the aircraft current position which is measured with errors.The paper represents an algorithm for real and synthetic images matching based on photogrammetric approach and new computer vision method. The algorithm includes the following key steps: 1) Receive input data: real image, flight navigation information and digital terrain model; 2) Detect points of known geospatial coordinates on the real image (reference points). A runway points are considered as reference points and their detection is based on the original Projective Hough Transform; 3) Make camera exterior orientation with use of reference points and navigation information as an initial approximation; 4) Specify the exact position of the "virtual" camera in a 3D scene using the results of camera exterior orientation. Create new 3D synthetic image which matches to the real image; 5) Combine the real and synthesized images. The paper contains some experimental results obtained on simulated data. It is shown that at the base glidepath the developed algorithm provides an accuracy of the real and synthetic images matching that has no negative effects to the perception of the CVS image by an operator.

Keywords: Technical vision; Camera exterior orientation; Object detection; Digital terrain model; Combined vision.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

М. А. Лебедев, М. А. Бондаренко, Д. В. Комаров, Д. Г. Степаньянц, О. В. Выголов, Ю. В. Визильтер, С. Ю. Желтов (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

M. A. Lebedev, M. A. Bondarenko, D. V. Komarov, D. G. Stepaniants, O. V. Vygolov, Yu. V. Vizilter, S. Yu. Zheltov (State Research Institute of Aviation Systems, Moscow) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. CAA Global Fatal Accidents Review 2002 to 2011. UK: TSO Civil Aviation Authority, 2013. 54 p.
2. RTCA DO-315B. Minimum Aviation System Per-formance Standard (MASPS) for Enhanced Vision Systems, Synthetic Vision Systems, Combine Vision Systems and Enhanced Flight Vision Systems. RTCA. Inc., 2011.
3. Vizilter Yu., Zheltov S., Stepanov A. Object Detec-tion and Recognition Using Events-based Image Analysis // SPIE Proceedings. 1996. V. 2823. P. 184 – 195.
4. Vizilter Yu., Zheltov S., Stepanov A. Events-based Image Analysis for Machine Vision and Digital Photogram-metry // ISPRS Proc International Archives of Photo-grammetry and Remote Sensing. 1996. V. XXXI. Part B3. P. 898 – 902.
5. Визильтер Ю. В. Применение метода анализа морфологических свидетельств в задачах машинного зрения // Вестник компьютерных и информационных технологий. 2007. № 9. С. 11 – 18.
6. Визильтер Ю. В., Желтов С. Ю. Использование проективных морфологий в задачах обнаружения и идентификации объектов на изображениях // Известия РАН. Теория и системы управления. 2009. № 2. С. 125 – 138.
7. Boguslawski P., Gold C. M., Rahman A. A. CAD Construction Method of 3D Building Models for GIS Analy-sis: ISPRS Ann. Photogramm. Remote Sensing and Spatial Information Sciences, I–2, 93–98, doi:10.5194/isprsannals-I-2-93–2012, 2012.
8. Zhang S., Sullivan G. D., Baker K. D. Using Auto-matically Constructed View-independent Relational Models in 3D Object Recognition. Proc. ECCV92, 1992.
9. Комаров Д. В., Визильтер Ю. В., Выголов О. В. Автоматическое обнаружение взлетно-посадочной поло-сы на видеоизображениях для авиационной системы улучшенного видения // Интеллектуализация обработки информации: тр. конф. ИОИ-9. Черногория, г. Будва, 16 – 22 сентября 2013 г. Будва, 2013.
10. Harris Chris, Stephens Mike. A Combined Corner and Edge Detector // Proc. of the 4th Alvey Vision Confer-ence. Manchester, UK. 1988. P. 147 –151.
11. Vygolov O. V. Enhanced and Synthetic Vision Sys-tems Development Based on Integrated Modular Avionics for Civil Aviation // Proc. of the 32nd Digital Avionics Sys-tems Conference. October 6 – 10, Syracuse, NY, 2013. 2B5.1–2B5.13.

Eng

1. CAA global fatal accidents review 2002 to 2011. (2013). UK: TSO Civil Aviation Authority.
2. RTCA DO-315B. (2011). Minimum Aviation System Performance Standard (MASPS) for Enhanced Vision Sys-tems, Synthetic Vision Systems, Combine Vision Systems and Enhanced Flight Vision Systems. RTCA. Inc.
3. Vizilter Iu., Zheltov S., Stepanov A. (1996). Object detection and recognition using events-based image analy-sis. SPIE Proceedings, 2823, pp. 184-195.
4. Vizilter Iu., Zheltov S., Stepanov A. (1996). Events-based image analysis for machine vision and digital photo-grammetry. ISPRS Proceedings. International Archives of Photogrammetry and remote sensing, XXXI, Part B3, pp. 898-902.
5. Vizil'ter Iu. V. (2007). Application of the method of analysis of morphological evidence in problems of machine vision. Vestnik komp'iuternykh i informatsionnykh tekhnologii, (9), pp. 11-18.
6. Vizil'ter Iu. V., Zheltov S. Iu. (2009). The projective morphology in the tasks of detection and identification of objects in images. Izvestiia RAN. Teoriia i sistemy upravleniia, (2), pp. 125-138.
7. Boguslawski P., Gold C. M., Rahman A. A. (2012). CAD construction method of 3D building models for gis analysis, ISPRS ann. photogramm. Remote Sens. Spatial Inf. Sci., (2), pp. 93-98. doi:10.5194/isprsannals-I-2-93-2012.
8. Zhang S., Sullivan G. D., Baker K. D. (1992). Using Automatically Constructed View-independent Relational Models in 3D Object Recognition. Proc. ECCV92.
9. Komarov D. V., Vizil'ter Iu. V., Vygolov O. V. (2013). Avtomaticheskoe obnaruzhenie vzletno-posadochnoi polosy na videoizobrazheniiakh dlia aviatsionnoi sistemy uluchshennogo videniia. (Automatic detection of the runway on the video images for aviation system of improved vision). Intellektualizatsiia obrabotki informatsii: trudy konferentsii IOI-9. (Intellectualization of information processing: proceedings of the Conference IOI-9). Montenegro, city of Budva, 16 – 22 September 2013.
10. Chris Harris, Mike Stephens (1988). A Combined Corner and Edge Detector.
11. Vygolov O. V. (2013). Enhanced and Synthetic Vi-sion Systems Development Based on Integrated Modular Avionics for Civil Aviation. Proceedings of the 32nd Digital Avionics Systems Conference. October 6 – 10, Syracuse, NY. 2B5.1–2B5.13.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 250 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа статьи заполните форму:

{jform=1,doi=10.14489/vkit.2014.07.pp.008-013}

Eng

This article is available in electronic format (PDF).

The cost of a single article is 250 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please fill out the form below:

{jform=2,doi=10.14489/vkit.2014.07.pp.008-013}