10.14489/vkit.2025.01.pp.003-014

DOI: 10.14489/vkit.2025.01.pp.003-014

Гордеев Н. М., Сгибнев И. В., Вишняков Б. В.
ПРУНИНГ АРХИТЕКТУРЫ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ ЗАДАЧ КЛАССИФИКАЦИИ, РЕГРЕССИИ, СЕГМЕНТАЦИИ И ДЕТЕКТИРОВАНИЯ
(c. 3-14)

Аннотация. С ростом размеров и сложности нейросетевых моделей возникает потребность в оптимизации их работы. Исследован новый алгоритм прунинга U-Pruner, направленный на эффективное сжатие нейросетевых моделей при сохранении их высокой точности. Применяя традиционные методы прунинга, специалисты часто сталкиваются с трудностями в сохранении точности или с необходимостью увеличения вычислительных ресурсов. В алгоритме U-Pruner используется последовательный прунинг блоков нейронной сети с последующим дообучением лучших экземпляров модели. При этом малозначимые параметры удаляются без потери ключевой информации, обеспечивается оптимальный баланс между степенью сжатия и точностью модели. Эксперимент показал, что U-Pruner превосходит традиционные методы прунинга на таких архитектурах, как MobileNetV2 и ResNet34. При сжатии модели на 10, 50 и 80 % этот алгоритм сохраняет высокую точность и демонстрирует наилучшие результаты среди аналогов. Благодаря своей универсальности и эффективности U-Pruner может быть применен для решения широкого спектра задач компьютерного зрения, включая классификацию, регрессию, сегментацию и детектирование. Предлагаемый подход открывает новые возможности для оптимизации нейросетевых моделей, делая их более доступными для использования в условиях ограниченных вычислительных ресурсов.

Ключевые слова: прунинг; сверточная нейронная сеть; классификация; регрессия; сегментация; детектирование.

Gordeev N. M., Sgibnev I. V., Vishniakov B. V.
PRUNING OF CONVOLUTIONAL NEURAL NETWORK ARCHITECTURE FOR CLASSIFICATION, REGRESSION, SEGMENTATION AND DETECTION TASKS
(pp. 3-14)

Abstract. With the increasing size and complexity of neural network models the optimization of their performance has become an increasingly relevant challenge. Traditional pruning methods often face difficulties in maintaining accuracy or require significant computational resources. In this paper, a new pruning algorithm, U-Pruner, is introduced, which is designed to efficiently compress neural network models while preserving their high accuracy. In U-Pruner, neural network blocks are sequentially pruned, followed by fine-tuning of the best instances of the model. This approach allows insignificant parameters to be removed without losing key information, ensuring that an optimal balance between compression ratio and model accuracy is achieved. Experimental results have shown that U-Pruner outperforms traditional pruning methods on architectures such as MobileNetV2 and ResNet34. When models are compressed by 10 %, 50 %, and 80 %, high accuracy is maintained by U-Pruner, demonstrating the best results among its peers. Notably, when ResNet34 is compressed by 80 %, a decrease in model accuracy of only 3 % is observed, which significantly surpasses the results of other methods. Due to its versatility and efficiency, U-Pruner can be applied to a wide range of computer vision tasks, including classification, regression, segmentation, and detection. New opportunities for optimizing neural network models are opened by the proposed approach, making them more accessible for use in resource-constrained environments.

Keywords: Pruning; Convolutional neural network; Classification; Regression; Segmentation; Detection.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Н. М. Гордеев, И. В. Сгибнев, Б. В. Вишняков (Федеральное автономное учреждение «Государственный научно-исследовательский институт авиационных систем», Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

N. M. Gordeev, I. V. Sgibnev, B. V. Vishniakov (State Research Institute of Aviation Systems, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Lee N., Ajanthan T., Torr P. H. S. Snip: Single-shot network pruning based on connection sensitivity //arXiv preprint arXiv:1810.02340. 2018.
2. Microsoft. Neural Network Intelligence (NNI). URL: https://nni.readthedocs.io/en/v2.6/index.html (дата обращения: 21.02.2024).
3. PyTorch: An Imperative Style, High-Performance Deep Learning Library: сайт / P. Adam, G. Sam, M. Francisco et al. URL: https://pytorch.org/ (дата обращения: 21.02.2024).
4. Kaiming He, Xiangyu Z., Shaoqing R., Jian S. Deep Residual Learning for Image Recognition // arXiv:1512.03385. 10 Dec 2015.
5. MobileNetV2: Inverted Residuals and Linear Bottlenecks / M. Sandler, A. Howard, M. Zhu et al. // arxiv.org/abs/1801.04381, 2019.
6. Jeremy Howard. Imagewang: сайт. The imagenette dataset. URL: https: //github.com/fastai/imagenette (дата обращения: 21.02.2024).
7. Griffin G., Holub A., Perona P. Caltech 256 (1.0) [Data set]. CaltechDATA: сайт. 2022. https://doi.org/10.22002/D1.20087
8. Zhou Y., Gregson J. Whenet: Real-time fine-grained estimation for wide range head pose // arXiv preprint arXiv:2005.10353. 2020.
9. Epic Games. Unreal Engine: сайт. URL: https://www.unrealengine.com/en-US (дата обращения: 21.02.2024).
10. Epic Games. MetaHuman: сайт. URL: https://www.unrealengine.com/en-US/metahuman (дата обращения: 21.02.2024).
11. Chen L.-C., Papandreou G., Schroff F., Adam H. Rethinking Atrous Convolution for Semantic Image Segmentation // arXiv:1706.05587v3 [cs.CV]. 5 Dec 2017.
12. CamVid (Cambridge-Driving Labeled Video Database): сайт. URL: http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/ (дата обращения: 21.02.2024).
13. Bochkovskiy A., Wang C. Y., Liao H. Y. M. Yolov4: Optimal speed and accuracy of object detection // arXiv preprint arXiv:2004.10934. 2020.
14. Road Sign Detection: сайт. URL: https://www.kaggle.com/datasets/andrewmvd/road-sign-detection (дата обращения: 21.02.2024).
15. ImageNet: A Large-Scale Hierarchical Image Database / J. Deng, W. Dong, R. Socher et al. // IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009). IEEE. 20–25 июня 2009. Miami, Florida. USA. P. 248–255.

Eng

1. Lee N., Ajanthan T., Torr P. H. S. Snip: Single-shot network pruning based on connection sensitivity. arXiv preprint arXiv:1810.02340. 2018.
2. Microsoft. Neural Network Intelligence. Retrieved from https://nni.readthedocs.io/en/v2.6/index.html (Accessed: 21.02.2024).
3. Adam P., Sam G., Francisco M. et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. Retrieved from https://pytorch.org/ (Accessed: 21.02.2024).
4. Kaiming He, Xiangyu Z., Shaoqing R., Jian S. (2015). Deep Residual Learning for Image Recognition. arXiv:1512.03385.
5. Sandler M., Howard A., Zhu M. et al. (2019). MobileNetV2: Inverted Residuals and Linear Bottlenecks. arxiv.org/abs/1801.04381.
6. Jeremy Howard. Imagewang. The imagenette dataset. Retrieved from https://github.com/fastai/imagenette (Accessed: 21.02.2024).
7. Griffin G., Holub A., Perona P. (2022). Caltech 256 (1.0). CaltechDATA. Retrieved from https://doi.org/10.22002/D1.20087
8. Zhou Y., Gregson J. (2020). Whenet: Real-time fine-grained estimation for wide range head pose. arXiv preprint arXiv:2005.10353.
9. Epic Games. Unreal Engine. Retrieved from https://www.unrealengine.com/en-US (Accessed: 21.02.2024).
10. Epic Games. MetaHuman. Retrieved from https://www.unrealengine.com/en-US/metahuman (Accessed: 21.02.2024).
11. Chen L.-C., Papandreou G., Schroff F., Adam H. (2017). Rethinking Atrous Convolution for Semantic Image Segmentation. arXiv:1706.05587v3 [cs.CV].
12. CamVid (Cambridge-Driving Labeled Video Database). Retrieved from http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/ (Accessed: 21.02.2024).
13. Bochkovskiy A., Wang C. Y., Liao H. Y. M. (2020). Yolov4: Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934.
14. Road Sign Detection. Retrieved from https://www.kaggle.com/datasets/andrewmvd/road-sign-detection (Accessed: 21.02.2024).
15. Deng J., Dong W., Socher R. et al. (2009). ImageNet: A Large-Scale Hierarchical Image Database. IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009), 248 – 255. Miami.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2025.01.pp.003-014

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2025.01.pp.003-014

and fill out the form