10.14489/vkit.2021.05.pp.045-052

DOI: 10.14489/vkit.2021.05.pp.045-052

Ященков К. Г., Дымко К. С., Уханов Н. О., Хныкин А. В.
РАЗРАБОТКА АЛГОРИТМА ПОИСКА АНОМАЛИЙ В МЕТЕОСВОДКАХ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА ПРОГНОЗОВ
(pp. 45-52)

Аннотация. Рассмотрена возможность использования методов анализа данных для поиска и исправления ошибок в выпускаемых метеорологами сообщениях. Предложен алгоритм обработки исходных данных (синтаксический и логический анализ) для предварительной очистки данных от шумов и определения ошибок формата для каждого типа сообщения. После предварительной подготовки методом классификации соотносится полученный набор характеристик сообщения с ранее обученной моделью для определения ошибочности текущей метеосводки и вывода соответствующего сообщения оператору в режиме реального времени. Продемонстрировано разработанное программное обеспечение, в котором реализован предложенный алгоритм, позволяющий повысить качество метеорологических прогнозов.

Ключевые слова: обработка сообщений; лексический анализ; синтаксический анализ; регулярные выражения; дерево решений; метеоданные.

Yashchenkov K. G., Dymko K. S., Ukhanov N. O., Khnykin A. V.
DEVELOPMENT OF AN ALGORITHM FOR FINDING ANOMALIES IN WEATHER REPORTS TO IMPROVE THE QUALITY OF FORECASTS
(pp. 45-52)

Abstract. The issues of using data analysis methods to find and correct errors in the reports issued by meteorologists are considered. The features of processing various types of meteorological messages are studied. The advantages and disadvantages of existing methods of classification of text information are considered. The classification methods are compared in order to identify the optimal method that will be used in the developed algorithm for analyzing meteorological messages. The prospects of using each of the methods in the developed algorithm are described. An algorithm for processing the source data is proposed, which consists in using syntactic and logical analysis to preclean the data from various kinds of noise and determine format errors for each type of message. After preliminary preparation the classification method correlates the received set of message characteristics with the previously trained model to determine the error of the current weather report and output the corresponding message to the operator in real time. The software tools used in the algorithm development and implementation processes are described. A complete description of the process of processing a meteorological message is presented from the moment when the message is entered in a text editor until the message is sent to the international weather message exchange service. The developed software is demonstrated, in which the proposed algorithm is implemented, which allows to improve the quality of messages and, as a result, the quality of meteorological forecasts. The results of the implementation of the new algorithm are described by comparing the number of messages containing various types of errors before the implementation of the algorithm and after the implementation.

Keywords: Message processing; Lexical analysis; Syntactic analysis; Regular expressions; Decision tree; Weather data.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

К. Г. Ященков, К. С. Дымко, Н. О. Уханов, А. В. Хныкин (Сибирский федеральный университет, Россия, Красноярск, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

K. G. Yashchenkov, K. S. Dymko, N. O. Ukhanov, A. V. Khnykin (Siberian Federal University, Krasnoyarsk, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Инструктивный материал по кодам METAR, SPECI, TAF – от 05.03.2015, № 115. М., 2015. 66 с. URL: metavia2.ru/help/instruction_METAR_SPECI_TAF.pdf (дата обращения: 15.12.2020)
2. Носков Д. В. Классификация текстов при помощи алгоритмов машинного обучения // Вестник науки и образования. 2018. № 4. С. 39  41.
3. Батура Т. В. Методы автоматической классификации текстов // Программные продукты и системы. 2019. Т. 30, № 1. С. 85  99.
4. Универсальный метеорологический телекоммуникационный комплекс маршрутизации сообщений и файлов [Электронный ресурс]. URL: docplayer.ru/26230235-Universalnyy-meteorologicheskiy-telekommunikacionnyy-kompleks-marshrutizacii-soobsh cheniy-i-faylov.html (дата обращения: 15.12.2020).
5. TAF – База знаний [Электронный ресурс]. URL: www.avsim.su/wiki/TAF (дата обращения: 15.12.2020).
6. Бойко М. В., Богданова Д. Р., Юсупова Н. И. Алгоритмическое и программное обеспечение для анализа тональности текстовых сообщений с использованием машинного обучения // Вестник Уфимского государственного авиационного технического университета. 2012. № 6. С. 91  99.
7. Михайлов И. С., Аунг З., Аунг Т. Разработка модификации метода опорных векторов для решения задачи классификации с ограничениями на предметную область // Программные продукты и системы. 2020. № 3. С. 439  448.
8. Кафтанников И. Л., Парасич А. В. Особенности применения деревьев решений в задачах классификации // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. 2015. № 3. С. 26  32.
9. NET Core [Электронный ресурс]. URL: dotnet.microsoft.com/ (дата обращения: 15.12.2020).
10. GOLD Parsing System – A Free, Multi-Programming Language, Parser Generator. Сайт [Электронный ресурс]. URL: goldparser.org/ (дата обращения: 15.12.2020).

Eng

1. Guidance material on METAR codes, SPECI, TAF, 115. (2015). Moscow. Available at: metavia2.ru/help/instruction_METAR_SPECI_TAF.pdf (Accessed: 15.12.2020). [in Russian language]
2. Noskov D. V. (2018). Classification of texts using machine learning algorithms. Vestnik nauki i obrazovaniya, (4), pp. 39  41. [in Russian language]
3. Batura T. V. (2019). Methods for automatic classification of texts. Programmnye produkty i sistemy, Vol. 30, (1), pp. 85  99. [in Russian language]
4. Universal meteorological telecommunication complex for routing messages and files. Available at: docplayer.ru/26230235-Universalnyy-meteorologicheskiy-telekommunikacionnyy-kompleks-marshrutizacii-soobshcheniy-i-faylov.html (Accessed: 15.12.2020). [in Russian language]
5. TAF - Knowledge Base. Available at: www.avsim.su/wiki/TAF (Accessed: 15.12.2020). [in Russian language]
6. Boyko M. V., Bogdanova D. R., Yusupova N. I. (2012). Algorithm and software for sentiment analysis of text messages using machine learning. Vestnik Ufimskogo gosudarstvennogo aviatsionnogo tekhnicheskogo universiteta, (6), pp. 91  99. [in Russian language]
7. Mihaylov I. S., Aung Z., Aung T. (2020). Development of a support vector machine modification for solving the classification problem with constraints on the subject area. Programmnye produkty i sistemy, (3), pp. 439  448. [in Russian language]
8. Kaftannikov I. L., Parasich A. V. (2015). Features of the use of decision trees in classification problems. Vestnik Yuzhno-Ural'skogo gosudarstvennogo universiteta. Seriya: Komp'yuternye tekhnologii, upravlenie, radioelektronika, (3), pp. 26  32. [in Russian language]
9. NET Core. Available at: dotnet.microsoft.com/ (Accessed: 15.12.2020).
10. GOLD Parsing System – A Free, Multi-Programming Language, Parser Generator. Available at: goldparser.org/ (Accessed: 15.12.2020).

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

DOI: 10.14489/vkit.2021.05.pp.045-052

Скопируйте DOI статьи и перейдите по ссылке https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

В комментарии к заказу обязательно укажите DOI статьи.

Eng

This article is available in electronic format (PDF).

DOI: 10.14489/vkit.2021.05.pp.045-052

Copy the article DOI and follow the link https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

Please specify the article DOI in the order comments.