10.14489/vkit.2026.02.pp.023-034

DOI: 10.14489/vkit.2026.02.pp.023-034

Валькова М. И., Трухтанов Н. В., Вишняков Б. В.
ИНТЕЛЛЕКТУАЛЬНЫЙ ВИРТУАЛЬНЫЙ ПИЛОТ ДЛЯ ТРАНСПОРТНЫХ САМОЛЕТОВ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ
(c. 23-34)

Аннотация. Представлена разработка виртуального пилота для управления самолетом на основе методов обучения с подкреплением (Reinforcement Learning, RL). Исследование направлено на создание автономной системы, способной адаптироваться к изменяющимся условиям полета и минимизировать человеческие ошибки, повышая эффективность выполнения задач. В качестве основного используется алгоритм Soft Actor-Critic (SAC) – современный метод RL, который обеспечивает стабильное обучение в непрерывном пространстве действий и демонстрирует высокую эффективность в задачах управления сложными динамическими системами. Основная цель – разработка многомодельной системы управления, где разные агенты специализируются на отдельных этапах посадки с нештатными ситуациями (отказ одного двигателя, заклинивание руля направления и др.) и без них. Такой подход позволяет повысить надежность и адаптивность автономного пилота, обеспечить безопасность и эффективность управления воздушным судном. Нейронная сеть обучается в симулированной среде, имитирующей реальные условия полета, включая аэродинамику и нештатные ситуации. В ходе обучения агент осваивает оптимальные стратегии управления, минимизируя риск возникновения опасных ситуаций и снижая зависимость от человеческого фактора, который остается одной из основных причин авиационных инцидентов. Результаты исследования подтверждают, что методы обучения с подкреплением, в частности алгоритм SAC, демонстрируют высокую эффективность при управлении самолетом. Система успешно справляется с компенсацией последствий нештатных ситуаций и обеспечивает плавное и безопасное завершение полета.

Ключевые слова: обучение с подкреплением; автопилот; автономные системы; искусственный интеллект в авиации; транспортные самолеты; автоматическое управление.

Valkova M. I., Trukhtanov N. V., Vishniakov B. V.
THE INTELLIGENT VIRTUAL PILOT FOR AIRCRAFT CARGO VIA REINFORCED LEARNING
(pp. 23-34)

Abstract. Modern aviation industry needs implementation of intelligent systems, which increases safety, efficiency and autonomy of cargo and civil aircraft control. In this paper we discuss the development of the virtual pilot to control an aircraft using reinforcement learning algorithms (RL). The research aim is to develop an autonomous system that is capable of adapting to varying flight conditions, reducing human errors and overall improving target achievement and mission success. As a base algorithm we use Soft Actor Critic (SAC) – modern RL method with stable convergence in continuous action space. Our main goal is to develop a multimodal control system, which contain different specialized agents for certain stages of emergency (such as one of engines shutdown, rudder jamming etc.) or regular landing. This approach allows to increase reliability and adaptability of the autonomous pilot, ensuring safety and efficiency for the aircraft steering. The neural network trains through interactions with the environment that simulates the real flight conditions, including aerodynamic characteristics and emergency situations. During the training process, the model learns optimal control strategies, which minimizes the accident risks and reduces dependence on the human factor, which remains one of the main aviation incidents reasons. The obtained results confirm the effectiveness of reinforcement learning methods, particularly the SAC algorithm, in the context of aircraft control. The system successfully copes with compensation for the consequences of emergency situations, ensuring a smooth and safe completing the flight.

Keywords: Reinforcement learning; Autopilot; Autonomous systems; Artificial intelligence in aviation; Cargo aircrafts's; Automatic control.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

М. И. Валькова, Н. В. Трухтанов, Б. В. Вишняков (Государственный научно-исследовательский институт авиационных систем, Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

M. I. Valkova, N. V. Trukhtanov, B. V. Vishniakov (State Research Institute of Aviation Systems, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Haarnoja T., Zhou A., Abbeel P., Levine S. Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor // Proceedings of the 35th International Conference on Machine Learning. 10–15 July 2018, Stockholm, Sweden. Т. 1870. URL: https://arxiv.org/abs/1801.01290. DOI: 10.48550/arXiv.1801.01290
2. Proximal Policy Optimization Algorithms / J. Schulman, F. Wolski, P. Dhariwal et al. // arXiv preprint arXiv:1707.06347. 2017. URL: https://arxiv.org/abs/1707.06347 (дата обращения 20.01.2026).
3. Deterministic Policy Gradient Algorithms / D. Silver, G. Lever, N. Heess et al. URL: https://spinningup.openai.com/en/latest/algorithms/ddpg.html (дата обращения 20.01.2026).
4. Playing Atari with Deep Reinforcement Learning / V. Mnih, K. Kavukcuoglu, D. Silver et al. // arXiv preprint arXiv:1312.5602. 2013. URL: https://arxiv.org/abs/1312.5602/ (дата обращения 20.01.2026).
5. Glorot X., Bordes A., Bengio Y. Deep Sparse Rectifier Neural Networks // Proceedings of the 14th International Conference on Artificial Intelligence and Statistics (AISTATS 2011). Fort Lauderdale, FL, USA. V.15 of JMLR^ W&CP 15. P. 315–323.
6. Kingma D. P., Ba J. Adam: A Method for Stochastic Optimization. URL: // arXiv preprint arXiv:1412.6980. 2014.

Eng

1. Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. Proceedings of the 35th International Conference on Machine Learning, 80, 1861–1870. https://arxiv.org/abs/1801.01290
2. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv. https://arxiv.org/abs/1707.06347
3. Silver, D., Lever, G., Heess, N., Degris, T., Wierstra, D., & Riedmiller, M. (2014). Deterministic policy gradient algorithms. In Proceedings of the 31st International Conference on Machine Learning (pp. 387–395).
4. Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., & Riedmiller, M. (2013). Playing Atari with deep reinforcement learning. arXiv. https://arxiv.org/abs/1312.5602
5. Glorot, X., Bordes, A., & Bengio, Y. (2011). Deep sparse rectifier neural networks. In Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (pp. 315–323).
6. Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv. https://arxiv.org/abs/1412.6980

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2026.02.pp.023-034

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2026.02.pp.023-034

and fill out the form