10.14489/vkit.2023.05.pp.003-010

DOI: 10.14489/vkit.2023.05.pp.003-010

Котляр Д. И., Ломанов А. Н.
СЕГМЕНТАЦИЯ СНИМКОВ КРОМКИ ЛОПАТКИ ГАЗОТУРБИННОГО ДВИГАТЕЛЯ
(c. 3-10)

Аннотация. Рассматриваются основные подходы к семантической сегментации изображений, содержащих кромки лопатки газотурбинного двигателя (ГТД), для выделения левой и правой границ кромки в целях дальнейшего использования данной информации для построения траектории наплавки в процессе ремонта лопатки ГТД методом прямого нанесения металла. Исследованы методы классической семантической сегментации изображений с применением пороговых фильтров, сегментации на основе сверточных нейронных сетей для обнаружения контуров объектов, семантической сегментации на основе сверточных нейронных сетей. Выбрана метрика для сравнения результатов. Определен наилучший метод для семантической сегментации изображений, содержащих кромки лопатки ГТД.

Ключевые слова: аддитивные технологии; семантическая сегментация; сегментация изображения; нейронные сети; техническое зрение; выделение контуров; выделение границ; лопатка ГТД.

Kotlyar D. I., Lomanov A. N.
SEGMENTATION OF PICTURES CONTAINING BLADE EDGE OF A GAS TURBINE ENGINE
(pp. 3-10)

Abstract. The article describes common techniques for semantic segmentation pictures containing edges of gas turbine engines blades for detecting left and right borders for further using in forming trajectory algorithms with direct metal deposition. For analysis such metrics, as pixel accuracy, mean pixel accuracy, intersection over union, frequency weighed intersection over union are used. Classic method of computer vision with threshold filters, border segmentation neural network method, fully convoluted neural network for semantic segmentation are focused on. The classic method of computer vision process image by several sequential applied filters: translate RBG to HSL, select lightness layer, threshold for this layer, morphological transformation, select top and bottom pixels in blade edge. This method gave 95,18 % pixel accuracy and 65,19 % intersection over union. Several architectures neural network for edge’s border segmentation, such as DexiNed, RCF, PiDiNet were compared. PiDiNet gave the best result: this architecture gave 96,37 % pixel accuracy and 77,57 % intersection over union. The last method in this research was fully convoluted neural network. 75 combinations of encoders and decoders architectures were trained and tested. The represented encoders were ResNet34, ResNet50, ResNet101, VGG11, VGG16, VGG19, InceptionResNetV2, InceptionV4, Efficientnet-b0, Efficientnet-b4, Efficientnet-b7, Xception. The represented decoders architectures were Unet, Unet++, MAnet, Linknet, PSPNet, FPN, DeepLabV3, DeepLabV3+, PAN. Fully convoluted neural network method gave the best result. The most accurate combination was Unet-InceptionResNetV2 model with 99,22 % pixel accuracy and 97,25 % intersection over union metric. The best method for semantic segmentation pictures contain blade edges was chosen.

Keywords: Additive technologies; Semantic segmentation; Picture segmentation; Neural network; Computer vision; Contour detect; Border detect; Blades of gas turbine engines.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Д. И. Котляр, А. Н. Ломанов (Рыбинский государственный авиационный технический университет имени П. А. Соловьева, Рыбинск, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

D. I. Kotlyar, A. N. Lomanov (Rybinsk State Aviation Technical University, Rybinsk, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Matcha A. C. N. A 2021 Guide to Semantic Segmentation [Электронный ресурс]. URL: https://nanonets.com/blog/semantic-image-segmentation-2020/ (дата обращения: 15.02.2023).
2. Liu X., Deng Z., Yang Y. Recent Progress in Semantic Image Segmentation // Artificial Intelligence Review. 2018. V. 52(2). P. 1089 – 1106. DOI: 10.1007/s10462-018-9641-3
3. Alokasi H., Ahmad M. Deep Learning-Based Frameworks for Semantic Segmentation of Road Scenes // Electronics. 2022. V. 11(12). DOI: 10.3390/electronics11121884
4. Soria X., Riba E., Sappa A. Dense Extreme Inception Network: Towards a Robust CNN Model for Edge Detection // 2020 IEEE Winter Conference on Applications of Computer Vision (WACV). 01 – 05 March, 2020. Los Alamitos, CA, USA, 2020. P. 1912 – 1921. DOI: 10.1109/WACV45572.2020.9093290
5. Liu Y. Richer Convolutional Features for Edge Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2019. V. 41, No. 8. P. 1939 – 1946.
6. Pixel Difference Networks for Efficient Edge Detection / Z. Su, W. Liu, Z. Yu et al. [Электронный ресурс]. URL: https://arxiv.org/pdf/2108.07009.pdf (дата обращения: 16.04.2023).
7. Iakubovskii P. Segmentation Models Pytorch [Электронный ресурс]. URL: https://github.com/qubvel/segmentation_models.pytorch (дата обращения 19.04.2023).
8. ImageNet Large Scale Visual Recognition Challenge / O. Russakovsky, J. Deng, H. Su et al. [Электронный ресурс]. DOI: 10.48550/ARXIV.1409.0575
9. Горбачев В. А., Криворотов И. А., Маркелов А. О., Котлярова Е. В. Семантическая сегментация спутниковых снимков аэропортов с помощью сверточных нейронных сетей // Компьютерная оптика. 2020. Т. 44(4). С. 636 – 645. DOI: 10.18287/2412-6179-CO-636

Eng

1. Matcha A. C. N. A 2021 Guide to Semantic Segmentation. Available at: https://nanonets.com/blog/semantic-image-segmenta-tion-2020/ (Accessed: 15.02.2023).
2. Liu X., Deng Z., Yang Y. (2018). Recent Progress in Semantic Image Segmentation. Artificial Intelligence Review, Vol. 52 (2), pp. 1089 – 1106. DOI: 10.1007/s10462-018-9641-3
3. Alokasi H., Ahmad M. (2022). Deep Learning-Based Frameworks for Semantic Segmentation of Road Scenes. Electronics, Vol. 11 (12). DOI: 10.3390/electronics11121884
4. Soria X., Riba E., Sappa A. (2020). Dense Extreme Inception Network: Towards a Robust CNN Model for Edge Detection. 2020 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 1912 – 1921. Los Alamitos. DOI: 10.1109/WACV45572.2020.9093290
5. Liu Y. (2019). Richer Convolutional Features for Edge Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 41 (8), pp. 1939 – 1946.
6. Su Z., Liu W., Yu Z. et al. Pixel Difference Networks for Efficient Edge. Available at: https://arxiv.org/pdf/2108.07009.pdf (Accessed: 16.04.2023).
7. Iakubovskii P. “Segmentation Models Pytorch”. Available at: URL: https://github.com/qubvel/segmentation_models.pytorch (Accessed: 19.04.2023).
8. Russakovsky O., Deng J., Su H. et al. ImageNet Large Scale Visual Recognition Challenge. DOI: 10.48550/ARXIV.1409.0575
9. Gorbachev V. A., Krivorotov I. A., Markelov A. O., Kotlyarova E. V. (2020). Semantic Segmentation of Airport Satellite Images Using Convolutional Neural Networks. Komp'yuternaya optika, Vol. 44 (4), pp. 636 – 645. [in Russian language] DOI: 10.18287/2412-6179-CO-636

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2023.05.pp.003-010

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2023.05.pp.003-010

and fill out the form