10.14489/vkit.2020.09.pp.018-024

DOI: 10.14489/vkit.2020.09.pp.018-024

Яценко Д. В., Жмайлов Б. Б.
ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ ПРИ ИСПОЛЬЗОВАНИИ МЕТОДА УВЕЛИЧЕНИЯ РЕЦЕПТИВНОГО ПОЛЯ
(с. 18-24)

Аннотация. Во многих задачах распознавания образов, решаемых с помощью сверточных нейронных сетей, важной характеристикой архитектуры сети является размер рецептивного поля. Он совпадает с размером максимального элемента, который может выступать в качестве признака. Однако при увеличении размера ядра свертки значительно увеличивается количество настраиваемых параметров сети. Метод увеличения эффективного рецептивного поля без изменения размера ядра свертки рассматривается в этой статье.

Ключевые слова: машинное обучение; глубокое обучение; нейронные сети; сверточные сети; рецептивное поле.

Iatsenko D. V., Zhmaylov B. B.
IMPROVING THE EFFICIENCY OF THE CONVOLUTIONAL NEURAL NETWORK USING THE METHOD OF INCREASING THE RECEPTIVE FIELD
(pp. 18-24)

Abstract. In many pattern recognition problems solved using convolutional neural networks (CNN), one of the important characteristics of network architecture is the size of the convolution kernel, since it coincides with the size of the maximum element that can act as a recognition sign. However, increasing the size of the convolution kernel greatly increases the number of tunable network parameters. The method of effective receptive field was first applied on AlexNet in 2012. The practical application of the method of increasing the effective receptive field without increasing convolution kernel size is discussed in this article. A presented example of a small network designed to recognize a fire in apicture demonstrates the use of an effective receptive field which consists of a stack of smaller convolutions. Comparison of a original network with a large convolution core and a modified network with a stack of smaller cores shows that, with equal network characteristics, such as prediction accuracy, prediction time, the number of parameters in the network with an effective receptive field, the number of tunable parameters is significantly reduced.

Keywords: Machine learning; Deep learning; Neaural networks; Convolution networks; Receptive field.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Д. В. Яценко, Б. Б. Жмайлов (Южный федеральный университет, Ростов-на-Дону, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

D. V. Yatsenko, B. B. Zhmaylov (South Federal University, Rostov-on-Don, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Backpropagation Applied to Handwritten Zip Code Recognition / Y. LeCun, B. Boser, J. S. Denker et al. // Neural Comput. 1989. No. 1(4). P. 541 – 551.
2. Conceptual Understanding of Convolutional Neural Network- A Deep Learning Approach / S. Indolia, A. K. Goswami, S. P. Mishra, P. Asopa // Procedia Computer Science. 2018. V. 132. P. 679 – 688.
3. Understanding the Effective Receptive Field in Deep Convolutional Neural Networks [Электронный ресурс] / W. Luo, Y. Li, R. Urtasun, R. Zemel. URL: https://arxiv.org/abs/1701.04128 (дата обращения: 09.11.2019).
4. Старовойтов В. В., Голуб Ю. И. Получение и обработка изображений на ЭВМ: уч.-метод. пособие. Минск: Белорусский национальный технический ун-т, 2018. 204 с.
5. Альтман Е. А., Захаренко Е. И., Васеева Т. В. Применение метода разложения двумерной свертки при реализации цифровых фильтров // Научный вестник НГТУ. 2017. № 4. С. 95 – 104.

Eng

1. LeCun Y., Boser B., Denker J. S. et al. (1989). Backpropagation Applied to Handwritten Zip Code Recognition. Neural Computation, 4(1), pp. 541 – 551.
2. Indolia S., Goswami A. K., Mishra S. P., Asopa P. (2018). Conceptual Understanding of Convolutional Neural Network- A Deep Learning Approach. Procedia Computer Science, Vol. 132, pp. 679 – 688.
3. Luo W., Li Y., Urtasun R., Zemel R. Understanding the Effective Receptive Field in Deep Convolutional Neural Networks. Available at: https://arxiv.org/abs/1701.04128 (Accessed: 09.11.2019).
4. Starovoytov V. V., Golub Yu. I. (2018). Receiving and processing images on a computer: a teaching aid. Minsk: Belorusskiy natsional'niy tekhnicheskiy universitet. [in Russian language]
5. Al'tman E. A., Zaharenko E. I., Vaseeva T. V. (2017). Application of the method of decomposition of two-dimensional convolution in the implementation of digital filters. Nauchniy vestnik NGTU, (4), pp. 95 – 104. [in Russian language]

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

DOI: 10.14489/vkit.2020.09.pp.018-024

Скопируйте DOI статьи и перейдите по ссылке https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

В комментарии к заказу обязательно укажите DOI статьи.

Eng

This article is available in electronic format (PDF).

DOI: 10.14489/vkit.2020.09.pp.018-024

Copy the article DOI and follow the link https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

Please specify the article DOI in the order comments.