10.14489/vkit.2016.04.pp.030-037

DOI: 10.14489/vkit.2016.04.pp.030-037

Веркеенко М. С.
АЛГОРИТМ МНОГОВИДОВОЙ СЕГМЕНТАЦИИ ОБЪЕКТОВ ДЛЯ РЕШЕНИЯ ЗАДАЧИ АВТОМАТИЧЕСКОГО ПОСТРОЕНИЯ ТРЕХМЕРНЫХ ЦИФРОВЫХ МОДЕЛЕЙ ПО НАЗЕМНЫМ ФОТОСНИМКАМ
(c. 30-37)

Аннотация. Представлен алгоритм автоматической сегментации объектов от фона на последовательности наземных цифровых фотоснимков, прошедших процедуру определения параметров ориентирования. Алгоритм основан на итеративном применении метода минимального разреза графа, построенного на множестве снимков, с использованием суперпикселов в качестве вершин и уточнения силуэта с применением так называемых визуальных конусов. Полученные таким образом силуэты используют в качестве одного из ограничений при последующем автоматическом построении цифровых трехмерных моделей объектов.

Ключевые слова: автоматическое построение трехмерных цифровых моделей объектов; цифровые снимки; сегментация; силуэты; минимальный разрез графа.

Verkeenko M. S.
MULTIVIEW OBJECTS SEGMENTATION ALGORITHM TO SOLVE THE PROBLEM OF AUTOMATIC DIGITAL 3D MODELS GENERATION FROM TERRESTRIAL PHOTOS
(pp. 30-37)

Abstract. An automatic object from background segmentation algorithm, which works on sequences of terrestrial photos after Structure from Motion (SFM) step, is presented in this paper. The purposed algorithm significantly improves quality of segmentation of objects from a background in comparison with widespread algorithm of monocular GrabCut and allows performing full automatic digital 3D models generation from unordered images set. The review of existing segmentation approaches is attached. On the basis of this review original strategy of effective silhouettes creation based on work with the image as with the graph was developed. Basic elements of this strategy and novelty of the offered method are transition from processing of separate pixels to so called SLIC super pixels, creation of graph on a set of neighbor images and iterative silhouettes refinement procedure. Initialization step uses tie points from SFM results and generates seeding vertices of graph and initial masks for color models using cameras visual hulls. Original filtering scheme for tie points set is proposed. On each step of iterative procedure min-cut approach on multi-view graph is applied. The resulted labeling for each base image is interme-diate silhouette. Then each intermediate silhouette is vectorized and a complex visual hull for each camera is created. Boolean intersection of all visual hulls creates 3D figure, which projection is used for silhouettes refinement. Iterative procedure works until all silhouettes don’t stop changing. Super pixels graph is created using RGB GMM color models, epipolar and geometry constraints. Correlation between appropriate super pixels color histograms determines a weight of each edge. Silhouettes created this way are used as constraints for further dense point cloud generation and polygonal models refinement.

Keywords: Automatic digital 3D models generation; Digital images; Segmentation; Silhouettes; Min-cut algorithm on graphs.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

М. С. Веркеенко (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

M. S. Verkeenko (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Kass M., Witkin A., Terzopoulos D. Snakes: Active Contour Models // Intern. Journal of Computer Vision. 1988. № 4. Р. 321 – 331.
2. Rother C., Kolmogorov V., Blake A. GrabCut: Interactive Foreground Extraction Using Iterated Graph Cuts // ACM Transactions on Graphics (SIGGRAPH’04). 2004. Р. 309 – 314.
3. Cosegmentation of Image Pairs by Histogram Matching – Incorporating a Global Constraint into / C. Rother et al. // Conf. on Computer Vision and Pattern Recognition (CVPR), New York, USA, 17 – 22 June 2006. New York, 2006. Р. 993 – 1000.
4. Automatic 3d Object Segmentation in Multiple Views Using Volumetric Graphcuts /N.D.F. Campbell et al. // Image and Vision Computing. 2010. № 28. Р. 14 – 25.
5. Zeng G., Quan L. Silhouette Extraction from Multiple Images of an Unknown Background (ACCV) / IEEE Asian Conf. on Computer Vision, Jeju, South Korea, 27 – 30 Jan. 2004. Jeju, 2004. Р. 628 – 633.
6. Блохинов Ю. Б., Веркеенко М. С. Алгоритмы построения цифровых трехмерных моделей уникальных объектов // Изв. РАН. Теория и системы управления. 2011. № 4. С. 118 – 131.
7. Блохинов Ю. Б., Веркеенко М. С., Горбачев В. А. Разработка алгоритмов стереоотождествления особенностей изображений в методе построения высокодетальной цифровой модели местности // Изв. РАН. Теория и системы управления. 2013. № 2. С. 76 – 91.
8. Горбачев В. А. Плотная стереореконструкция рельефа местности на основе модифицированного алгоритма SGM // Изв. РАН. Теория и системы управления. 2014. № 2. С. 68 – 79.
9. SLIC Superpixels Compared to State-of-the-art Superpixel Methods / А. Radhakrishna et al. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. V. 34, № 11. Р. 2274 – 2282.
10. Douze M., Franco J. S., Raffin B. QuickCSG: Arbitrary and Faster Boolean Combinations of N Solids // Research center Grenoble – Rhone Alpes. 2015. P. 37.
11. Muja M., Lowe D. Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration (VISAPP'09) / Intern. Conf. on Computer Vision Theory and Applications. Portugal. 5 – 8 Feb. 2009. Lisbon, 2009. Р. 331 – 340.
12. Boykov Y., Kolmogorov V. An Experimental Comparison of Mincut/max-flow Algorithms for Energy Minimization in Vision // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2004. V. 29, № 9. Р. 1124 – 1137. doi:10.1109/TPAMI.2004.60
13. Блохинов Ю. Б., Веркеенко М. С. Алгоритмы формирования видеореалистичных текстур по данным наземной фотосъемки // Изв. ВУЗов. Геодезия и аэрофотосъемка. 2010. № 5. С. 44 – 49.

Eng

1. Kass M., Witkin A., Terzopoulos D. (1988). Snakes: active contour models. International Journal of Computer Vision, (4), pp. 321-331.
2. Rother C., Kolmogorov V., Blake A. (2004). GrabCut: interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics (SIGGRAPH’04), pp. 309-314.
3. Rother C. et al. (2006). Cosegmentation of image pairs by histogram matching – incorporating a global constraint into. Conference on Computer Vision and Pattern Recognition (CVPR), 17-22 June 2006, New York, NY, USA, pp. 993-1000.
4. Campbell N.D.F. et al. (2010). Automatic 3d object segmentation in multiple views using volumetric graphcuts. Image and Vision Computing, 28, pp. 14-25. doi: 10.1016/j.imavis.2008.09.005
5. Zeng G., Quan L. (2004). Silhouette extraction from multiple images of an unknown background (ACCV). IEEE Asian Conference on Computer Vision, 27-30 Jan. 2004, Jeju, South Korea, pp. 628-633.
6. Blokhinov Iu. B., Verkeenko M. S. (2011). Algorithms for constructing threedimensional digital models of unique objects. Izvestiia RAN. Teoriia i sistemy upravleniia, (4), pp. 118-131.
7. Blokhinov Iu. B., Verkeenko M. S., Gorbachev V. A. (2013). Development of algorithms for stereo identification of image features in the method of construction of high-detailed digital terrain model. Izvestiia RAN. Teoriia i sistemy upravleniia, (2), pp. 76-91.
8. Gorbachev V. A. (2014). The dense stereo reconstruction of the terrain on the basis of the modified SGM algorithm. Izvestiia RAN. Teoriia i sistemy upravleniia, (2), pp. 68-79.
9. Radhakrishna А. et al. (2012). SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Transactions on Pattern Analysis and Machine Intelligence, 34(11), pp. 2274-2282.
10. Douze M., Franco J. S., Raffin B. (2015). QuickCSG: arbitrary and faster boolean combinations of N solids. Research center Grenoble – Rhone Alpes., p. 37.
11. Muja M., Lowe D. (2009). Fast approximate nearest neighbors with automatic algorithm configuration (VISAPP'09). International Conference on Computer Vision Theory and Applications. 5 – 8 Feb. 2009. Lisbon, Portugal, pp. 331-340.
12. Boykov Y., Kolmogorov V. (2004). An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(9), pp. 1124-1137. doi:10.1109/TPAMI.2004.60
13. Blokhinov Iu. B., Verkeenko M. S. (2010). Algorithms of photorealistic textures formation according to the shooting ground. Izvestiia VUZov. Geodeziia i aerofotos"emka, (5), pp. 44-49.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа статьи заполните форму:

{jform=1,doi=10.14489/vkit.2016.04.pp.030-037}

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please fill out the form below:

{jform=2,doi=10.14489/vkit.2016.04.pp.030-037}