10.14489/vkit.2026.06.pp.003-013

DOI: 10.14489/vkit.2026.06.pp.003-013

Бирюков М. А., Ким З. В., Кузин П. И., Алленов Д. С.
ИССЛЕДОВАНИЕ СЕТЕВОГО ТРАФИКА С ПРИМЕНЕНИЕМ ML-МОДЕЛЕЙ ДЛЯ ВЫЯВЛЕНИЯ АНОМАЛЬНОГО ПОВЕДЕНИЯ
(c. 3-13)

Аннотация. Исследована проблема выявления аномального поведения в сетевом трафике с использованием методов машинного обучения (ML) в условиях экспоненциального роста объемов данных, повсеместного шифрования и эволюции угроз. Классические сигнатурные системы ограничены против атак «нулевого дня» и полиморфного вредоносного программного обеспечения. Реализованы три подхода: модель с учителем XGBoost для классификации известных атак, модель без учителя Isolation Forest для выявления новых аномалий и гибридная схема, объединяющая их оценки в единый риск-скор (максимум вероятности XGBoost и нормализованной оценки Isolation Forest). Разработан полный пайплайн: агрегация пакетов в потоки по 5-кортежу с временным окном, извлечение более 40 поведенческих признаков, предобработка, обучение и оценка. Эксперименты проведены на эталонных датасетах с временным разбиением данных, стратифицированной валидацией и калибровкой порогов по максимуму F1-score. Рассмотренная система применима в системах обнаружения и реагирования на сетевые угрозы как вспомогательный модуль в корпоративных, операторских и IoT-сетях, а также для интеграции с существующими IDS/IPS и коммерческими платформами. Подходит для мониторинга шифрованного трафика в реальном времени при объемах до десятков тысяч потоков в секунду. Гибридная модель на базе XGBoost и Isolation Forest обеспечивает оптимальное сочетание точности, полноты и низкой шумности, создавая основу для современных систем безопасности нового поколения.

Ключевые слова: обнаружение аномалий; сетевой трафик; машинное обучение; гибридная модель; XGBoost; Isolation Forest; сетевые атаки.

Biryukov M. A., Kim Z. V., Kuzin P. I., Allenov D. S.
INVESTIGATION OF NETWORK TRAFFIC USING ML MODELS TO DETECT ANOMALOUS BEHAVIOR
(pp. 3-13)

Abstract. To investigate the problem of detecting anomalous behaviour in network traffic using machine learning methods under conditions of exponential growth in data volumes, widespread encryption and evolving threats. Classical signature-based systems are limited in effectiveness against zero-day attacks and polymorphic malware. Three approaches were implemented: a supervised XGBoost model for classifying known attack types, an unsupervised Isolation Forest model for detecting new anomalies, and a hybrid scheme that combines the scores of both models into a single risk-score (the maximum of the XGBoost probability and the normalised Isolation Forest score). A complete pipeline was developed: aggregation of packets into flows by 5-tuple with a time window, extraction of more than 40 behavioural features, preprocessing, training and evaluation. Experiments were conducted on benchmark datasets with temporal data splitting, stratified validation and threshold calibration based on the maximum F1-score. The hybrid approach demonstrated the best balance: for DDoS/DoS – Recall 0.995, PortScan – 0.960, Brute-force – 0.910, C2-beaconing – 0.920 with an overall FPR of 0.83 % and F1-score of 0.932. Compared to pure XGBoost, recall increased by 12–18 %; compared to Isolation Forest, FPR decreased by 3–4 %. Average detection time in real-time mode – 1.1 s. Confusion matrices and ROC/PR curves confirmed the superiority of the hybrid model across all scenarios. The developed system is applicable in network threat detection and response systems, as an auxiliary module in corporate, operator and IoT networks, as well as for integration with existing IDS/IPS and commercial platforms. It is suitable for monitoring encrypted traffic in real time at volumes of up to tens of thousands of flows per second. The hybrid model based on XGBoost and Isolation Forest provides an optimal combination of accuracy, recall and low noise level, forming the basis for modern next-generation security systems.

Keywords: Anomaly Detection; Network Traffic; Machine Learning; Hybrid Model; XGBoost; Isolation Forest; Network Attacks.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

М. А. Бирюков, З. В. Ким (Санкт-Петербургский государственный университет телекоммуникаций имени М. А. Бонч-Бруевича, Санкт-Петербург, Россия)
П. И. Кузин (Санкт-Петербургский государственный лесотехнический университет имени С. М. Кирова, Санкт-Петербург, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
Д. С. Алленов (Департамент информационных систем Министерства обороны Российской Федерации, Москва, Россия)

Eng

M. A. Biryukov, Z. V. Kim (Saint Petersburg State University of Telecommunications named after Professor M.A. Bonch-Bruevich, Saint Petersburg, Russia)
P.I. Kuzin (Saint-Petersburg State Forestry Technical University named after S. M. Kirov, Saint Petersburg, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
D. S. Allenov (Department of Information Systems of the Ministry of Defense of the Russian Federation, Moscow, Russia)

+ - Библиографический список (References) Click to collapse

Рус

1. Dardouri S., Almuhanna R. A Deep Learning/Machine Learning Approach for Anomaly Based Network Intrusion Detection // Frontiers in Artificial Intelligence. 2025. Vol. 8. Art. 1625891.
2. A dependable hybrid machine learning model for network intrusion detection / M. A. Talukder, Hasan K. F., Islam M. N. et al. // Journal of Information Security and Applications. 2023. Vol. 72. Art. 103405.
3. Extending isolation forest for anomaly detection in big data via K-means / M. T. R. Laskar, J. X. Huang, V. Smetana et al. // ACM Transactions on Cyber-Physical Systems (TCPS). 2021. Vol. 5. No. 4. P. 1 – 26.
4. Макаренко В. П., Карапузов А. Н., Мякотин А. В., Панкин А. А. Задача определения конфигурации физического уровня цифровой сети // Известия Высшей военной школы Генерального штаба Вооруженных сил Республики Ангола. 2025. № 3. С. 53 – 54.
5. A comparative analysis of machine learning techniques for IoT intrusion detection / J. Vitorino, R. Andrade, I. Praca et al. // International symposium on foundations and practice of security. Cham : Springer International Publishing, 2021. P. 191 – 207.
6. Keskin S., Okatan E. Machine learning methods for intrusion detection in computer networks: A comparative analysis // International Journal of Engineering and Innovative Research. 2023. Vol. 5. No. 3. P. 268 – 279.
7. Удальцов А. В. Модель синхронизации баз данных на основе актуальности информации // Телекоммуникации и связь. 2024. № 1(1). С. 94 – 100.
8. Ерыгин В. В., Кузин П. И. Реализация интегрированной системы обеспечения информационной безопасности инфотелекоммуникационной системы // Известия Высшей военной школы Генерального штаба Вооруженных сил Республики Ангола. 2025. № 4. С. 36 – 41.
9. Кузина Е. И., Потапов И. А., Луканин В. В. Объекты и показатели качества системы контроля информационной безопасности // Известия Высшей военной школы Генерального штаба Вооруженных сил Республики Ангола. 2025. № 5. С. 63 – 65.

Eng

1. Dardouri, S., & Almuhanna, R. (2025). A deep learning/machine learning approach for anomaly based network intrusion detection. Frontiers in Artificial Intelligence, 8, Article 1625891.
2. Talukder, M. A., Hasan, K. F., Islam, M. N., et al. (2023). A dependable hybrid machine learning model for network intrusion detection. Journal of Information Security and Applications, 72, Article 103405.
3. Laskar, M. T. R., Huang, J. X., Smetana, V., et al. (2021). Extending isolation forest for anomaly detection in big data via K means. ACM Transactions on Cyber Physical Systems, 5(4), 1–26.
4. Makarenko, V. P., Karapuzov, A. N., Myakotin, A. V., & Pankin, A. A. (2025). The problem of determining the configuration of the physical layer of a digital network. Izvestiya Vysshei voennoi shkoly General'nogo shtaba Vooruzhennykh sil Respubliki Angola, (3), 53–54. [in Russian language].
5. Vitorino, J., Andrade, R., Praca, I., et al. (2021). A comparative analysis of machine learning techniques for IoT intrusion detection. In International symposium on foundations and practice of security (pp. 191–207). Springer International Publishing.
6. Keskin, S., & Okatan, E. (2023). Machine learning methods for intrusion detection in computer networks: A comparative analysis. International Journal of Engineering and Innovative Research, 5(3), 268–279.
7. Udaltsev, A. V. (2024). A model for database synchronization based on information relevance. Telekommunikatsii i svyaz', (1), 94–100. [in Russian language].
8. Erygin, V. V., & Kuzin, P. I. (2025). Implementation of an integrated information security system for an infotelecommunication system. Izvestiya Vysshei voennoi shkoly General'nogo shtaba Vooruzhennykh sil Respubliki Angola, (4), 36–41. [in Russian language].
9. Kuzina, E. I., Potapov, I. A., & Lukanin, V. V. (2025). Objects and quality indicators of the information security control system. Izvestiya Vysshei voennoi shkoly General'nogo shtaba Vooruzhennykh sil Respubliki Angola, (5), 63–65. [in Russian language].

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2026.06.pp.003-013

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2026.06.pp.003-013

and fill out the form