10.14489/vkit.2020.05.pp.003-012

DOI: 10.14489/vkit.2020.05.pp.003-012

Визильтер Ю. В., Выголов О. В., Желтов С. Ю., Князь В. В.
МЕТРИЧЕСКИЙ ПОДХОД К СЕМАНТИКО-МОРФОЛОГИЧЕСКОМУ СРАВНЕНИЮ ИЗОБРАЖЕНИЙ
(с. 3-12)

Аннотация. Рассмотрены способы метрического сравнения изображений на основе их морфосемантических (МС) и семантико-морфологических (СМ) моделей. Предложены класс-центрированный подход к вписанию МС- и СМ-моделей в векторное пространство с взвешенными Lp-метриками, а также альтернативный класс-центрированный подход, основанный на ресурсных моделях СМ-экспрессии классов, рассматриваемых как элементы метрического пространства с EMD-метрикой. В рамках объект-центрированного подхода к построению метрического пространства СМ-моделей по аналогии с метрикой оценки геометрических отличий мозаичных форм представлены метрики оценки семантико-морфологических отличий и, соответственно, их EMD-версии.

Ключевые слова: морфологический анализ изображений; семантические модели; метрические пространства; глубокие нейронные сети.

Vizilter Yu. V., Vygolov O. V., Zheltov S. Yu., Kniaz V. V.
METRIC APPROACH TO SEMANTIC-MORPHOLOGICAL IMAGE COMPARISON
(pp. 3-12)

Abstract. In this paper we propose and consider different metric approaches to image comparison based on Morpho-Semantic (MS) and Semantic-Morphological (SM) models. The first proposed class-based approach presumes the embedding of MS and SM models to the metric space with weighted Lp metrics. This approach is based on representation of SM models as mosaic vector functions composed of semantic-morphological class expression maps. The feature description of these maps provides a global feature description of SM models by SM vectors. The second proposed class-based approach is based on resource models, which include semantic-morphological class expression maps with area recourse values. This approach implements the embedding of these mosaic class expression maps with area recourse values to the metric space with Earth Mover’s Distance (EMD) based on resource transportation between these maps. Finally, we propose the object-based approach to metric embedding of SM models inspired by Geometrical Difference Distance (GDD), which performs the comparison of mosaic image shapes via weighted pairwise comparison of their region shapes. In this way we obtain the SM Difference Distance (SMDD) and its EMD-version (SMDD). The practical applicability of proposed SM-metrics is largely determined by the strategy of feature set forming and parameter estimation scheme. The SM-metrics parameter tuning for comparison of some visual scenes/objects could be performed both as MS-modeling (interpretation) of human subjective reasoning and as MS-modeling (interpretation) of deep learning results. In both cases, SM models and SM metrics fitting could allow: making partially transparent the human or DNN reasoning in scene comparison tasks; Comparing (grouping, clustering) different experts (algorithms) in terms of different parameters settings for SM-models; performing the personalized post-training of neural network models with taking into account the individual SM-settings of concrete users, operators or experts. This will combine the effectiveness of deep learning on huge training bases with partial transparency of reasoning and the possibility of directly taking into account the wishes of users in terms of SM-models, rather than by creating the artificial training bases via artificial augmentation.

Keywords: Morphological image analysis; Semantic model; Metric space; Deep neural networks.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Ю. В. Визильтер, О. В. Выголов, С. Ю. Желтов, В. В. Князь (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

Yu. V. Vizilter, O. V. Vygolov, S. Yu. Zheltov, V. V. Kniaz (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Семантико-морфологическое описание и синтез изображений с использованием глубоких нейронных сетей / Ю. В. Визильтер и др. // Вестник компьютерных и информационных технологий. 2019. № 4(178). С. 13 – 24.
2. Обработка и анализ цифровых изображений с примерами на LabVIEW и IMAQ Vision / Ю. В. Визильтер и др. М.: ДМКпресс, 2007. 464 с.
3. Rubner Y., Tomasi C. and Guibas L. J. The Earth Mover’s Distance as a Metric for Image Retrieval // International Journal of Computer Vision. 2000. No. 40(2). P. 99 – 121.
4. Визильтер Ю. В., Рубис А. Ю. Метрическое пространство форм изображений // Интеллектуализация обработки информации: сб. докл. 9-й Междунар. конф. Будва, Черногория. М.: Торус Пресс, 2012. C. 406 – 410.
5. Визильтер Ю. В., Рубис А. Ю., Горбацевич В. С. Реляционные модели формы изображений и метрики их сравнения // Интеллектуализация обработки информации: сб. докл. 9-й Междунар. конф. Будва, Черногория. М.: Торус Пресс, 2012. C. 410 – 414.
6. Выделение отличий на изображениях с помощью референтных EMD-фильтров / М. А. Лебедев и др. // Компьютерная оптика. 2018. Т. 42, № 2. С. 291 – 296.

Eng

1. Vizil'ter Yu. V. et al. (2019). Semantic and morphological description and synthesis of images using deep neural networks. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, 178(4), pp. 13 – 24. [in Russian language] doi: 10.14489/vkit.2019.04.pp.013-024
2. Vizil'ter Yu. V. et al. (2007). Processing and analysis of digital images with examples on LabVIEW and IMAQ Vision. Moscow: DMKpress. [in Russian language]
3. Rubner Y., Tomasi C. and Guibas L. J. (2000). The Earth Mover’s Distance as a Metric for Image Retrieval. International Journal of Computer Vision, 40(2), pp. 99 – 121.
4. Vizil'ter Yu. V., Rubis A. Yu. (2012). Metric Image Form Space. Intellectualization of information processing: a collection of reports of the 9th International Conference, pp. 406 – 410. Moscow: Torus Press. [in Russian language]
5. Vizil'ter Yu. V., Rubis A. Yu., Gorbatsevich V. S. (2012). Relational models of image form and metrics for their comparison. Intellectualization of information processing: a collection of reports of the 9th International Conference, pp. 410 – 414. Moscow: Torus Press. [in Russian language]
6. Lebedev M. A. et al. (2018). Highlight differences in images using reference EMD filters.Komp'yuternaya optika, Vol. 42, (2), pp. 291 – 296. [in Russian language]

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2020.05.pp.003-012

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2020.05.pp.003-012

and fill out the form