10.14489/vkit.2026.04.pp.023-030

DOI: 10.14489/vkit.2026.04.pp.023-030

Аменицкий А. В., Воробьев Е. Г.
УПРАВЛЕНИЕ РИСКАМИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА: КОНЦЕПТУАЛЬНАЯ МОДЕЛЬ ПРОАКТИВНОЙ БЕЗОПАСНОСТИ В УСЛОВИЯХ AI-КИБЕРПРЕСТУПНОСТИ
(c. 23-30)

Аннотация. Стремительная интеграция технологий искусственного интеллекта, включая генеративные модели, в критические бизнес-процессы сопровождается ростом специфических рисков Artificial Intelligense (AI) CCrimes, которые не могут быть эффективно нейтрализованы в рамках традиционных реактивных моделей управления рисками. Существующие подходы, включая фреймворки NIST AI RMF и EU AI Act, носят преимущественно рекомендательный или нормативный характер и не предлагают интегрированных математических моделей для проактивного прогнозирования и количественной оценки угроз. Цель исследования – разработка концептуальной модели и фреймворка проактивного управления рисками искусственного интеллекта, интегрирующего методы AI for Cyber Security (AI CS) для прогнозирования инцидентов и обеспечивающего единство задач безопасности, этики и соответствия регуляторным требованиям. Проведен системный анализ современных рисков искусственного интеллекта (данные, модели, операции, этика), выполнена их классификация по уровню опасности и автононости AI-агента. Предложена формальная постановка задачи управления рисками как оптимизационной. Разработан трехуровневый фреймворк, сочетающий методы предиктивной аналитики, обработки естественного языка (NLP) для анализа угроз и глубокого обучения (Deep Learning) для выявления аномалий. Предложена авторская классификация угроз AI CCrimes. Формализована модель системы управления рисками. Сформулированы ключевые пробелы в современном законодательстве, в частности в области ответственности за решения автономных систем. Доказана необходимость парадигмального сдвига от реактивных к проактивным стратегиям. Установлено, что гибридный подход к оценке рисков на 25…30 % повышает эффективность по метрике F1-Score. Разработаны практические рекомендации по внедрению предложенного фреймворка, указаны направления дальнейших исследований в области объяснимого искусственного интеллекта (XAI) и генерации синтетических данных.

Ключевые слова: управление рисками искусственного интеллекта; AI-преступность; проактивная безопасность; кибербезопасность; фреймворк NIST AI RMF; этика ИИ; машинное обучение; предиктивная аналитика; регуляторика ИИ; модель угроз.

Amenitsky A. V., Vorobyov E. G.
ARTIFICIAL INTELLIGENCE RISK MANAGEMENT: A CONCEPTUAL MODEL OF PROACTIVE SECURITY IN THE CONTEXT OF AI CYBERCRIME
(pp. 23-30)

Abstract. The rapid integration of artificial intelligence (AI) technologies, including generative models, into critical business processes is accompanied by an increase in specific risks (AI CCrimes) that cannot be effectively mitigated by traditional, reactive risk management models. Existing approaches, including the NIST AI RMF framework and the EU AI Act, are predominantly recommendatory or regulatory in nature and do not offer integrated mathematical models for proactive prediction and quantification of threats. Objective: To develop a conceptual model and framework for proactive AI risk management, integrating AI for Cyber Security (AI CS) methods for predicting incidents and ensuring the unity of security, ethics and compliance tasks. Methodology: A systematic analysis of modern AI risks (data, models, operations, ethics) is carried out, their classification by the level of danger and autonomy of the AI agent is carried out. A formal formulation of the problem of risk management as an optimization one is proposed. A three-tier framework has been developed that combines predictive analytics, natural language processing (NLP) for threat analysis, and deep learning to identify anomalies. Results: The author's classification of threats AI CCrimes is proposed. The model of the risk management system has been formalized. Key gaps in modern legislation are formulated, in particular, in the field of responsibility for decisions of autonomous systems. Conclusions: The need for a paradigmatic shift from reactive to proactive strategies has been proven. It has been found that a hybrid approach to risk assessment increases the effectiveness of the F1-Score metric by 25…30 %. Practical recommendations for the implementation of the proposed framework and directions for further research in the field of explainable AI (XAI) and synthetic data generation are developed.

Keywords: Artificial intelligence (AI) risk management; AI crime; Proactive security; Cybersecurity; NIST AI RMF framework; AI ethics; Machine learning; Predictive analytics; AI regulation; Threat model.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

А. В. Аменицкий, Е. Г. Воробьев (Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В. И. Ульянова (Ленина), Санкт-Петербург, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

A. V. Amenitsky, E. G. Vorobyov (Saint Petersburg State Electrotechnical University “LETI” named after V. I. Ulyanov (Lenin), Saint Petersburg, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. McKinsey & Company. The state of AI in 2023: Generative AI's breakout year [Электронный ресурс] // McKinsey Global Survey on Artificial Intelligence. 2023. URL: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year (дата обращения: 11.03.2026).
2. IBM Institute for Business Value. AI and Cybersecurity: A new era of risk and readiness [Электронный ресурс] // IBM IBV Study. 2024. URL: https://www.ibm.com/thought-leadership/institute-business-value/en-us/report/ai-cybersecurity (дата обращения: 11.03.2026).
3. National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0) / E. Tabassi. Gaithersburg: NIST, 2023. 86 p. (NIST AI 100-1). DOI: 10.6028/NIST.AI.100-1
4. Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) // Official Journal of the European Union. 2024. L 1689. P. 1–144.
5. ISO/IEC 27005:2022. Information technology – Security techniques – Information security risk management. Geneva: International Organization for Standardization, 2022. 78 p.
6. The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation / Brundage M., Avin S., Clark J. et al. // CoRR. 2018. Vol. abs/1802.07228. URL: http://arxiv.org/abs/1802.07228 (дата обращения: 11.03.2026).
7. Goodfellow I., McDaniel P., Papernot N. Making Machine Learning Robust Against Adversarial Inputs // Communications of the ACM. 2018. Vol. 61, No. 7. P. 56–66. DOI: 10.1145/3134599
8. Veale M., Binns R. Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data // Big Data & Society. 2017. Vol. 4, No. 2. P. 1–17. DOI: 10.1177/2053951717743530
9. Apruzzese G., Pajola L., Conti M. The Role of Machine Learning in Cybersecurity: A Systematic Review // IEEE Access. 2022. Vol. 10. P. 102001–102029. DOI: 10.1109/ACCESS.2022.3206714
10. O'Neil C. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown Publishing Group, 2016. 272 p.
11. Papernot N., McDaniel P., Sinha A., Wellman M. P. SoK: Security and Privacy in Machine Learning // Proceedings of the 2018 IEEE European Symposium on Security and Privacy (EuroS&P), London, United Kingdom, 24–26 April 2018. Piscataway: IEEE, 2018. P. 399–414. DOI: 10.1109/EuroSP.2018.00035
12. Kaplan A., Haenlein M. Siri, Siri, in my hand: Who's the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence // Business Horizons. 2019. Vol. 62, No. 1. P. 15–25. DOI: 10.1016/j.bushor.2018.08.004
13. Taddeo M., Floridi L. How AI can be a force for good // Science. 2018. Vol. 361, No. 6404. P. 751–752. DOI: 10.1126/science.aat5991
14. The Challenges and Opportunities of Human-Centered AI for Trustworthy Robots and Autonomous Systems / He H., Gray J., Cangelosi A. et al. // Proceedings of the IEEE. 2020. Vol. 108, No. 7. P. 1041–1054. DOI: 10.1109/JPROC.2020.2996585
15. Artificial Intelligence and the 'Good Society': The US, EU, and UK approach / Cath C., Wachter S., Mittelstadt B. et al. // Science and Public Policy. 2018. Vol. 45, No. 2. P. 163–176. DOI: 10.1093/scipol/scx024

Eng

1. McKinsey & Company. (2023). The state of AI in 2023: Generative AI's breakout year. McKinsey Global Survey on Artificial Intelligence. Retrieved March 11, 2026, from https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year
2. IBM Institute for Business Value. (2024). AI and cybersecurity: A new era of risk and readiness. IBM IBV Study. Retrieved March 11, 2026, from https://www.ibm.com/thought-leadership/institute-business-value/en-us/report/ai-cybersecurity
3. Tabassi, E. (2023). Artificial intelligence risk management framework (AI RMF 1.0) (NIST AI 100-1). National Institute of Standards and Technology. https://doi.org/10.6028/NIST.AI.100-1
4. Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act). (2024). Official Journal of the European Union, L 1689, 1–144.
5. ISO/IEC 27005:2022. (2022). Information technology – Security techniques – Information security risk management. International Organization for Standardization.
6. Brundage, M., Avin, S., Clark, J., et al. (2018). The malicious use of artificial intelligence: Forecasting, prevention, and mitigation. CoRR, abs/1802.07228. Retrieved March 11, 2026, from http://arxiv.org/abs/1802.07228
7. Goodfellow, I., McDaniel, P., & Papernot, N. (2018). Making machine learning robust against adversarial inputs. Communications of the ACM, 61(7), 56–66. https://doi.org/10.1145/3134599
8. Veale, M., & Binns, R. (2017). Fairer machine learning in the real world: Mitigating discrimination without collecting sensitive data. Big Data & Society, 4(2), 1–17. https://doi.org/10.1177/2053951717743530
9. Apruzzese, G., Pajola, L., & Conti, M. (2022). The role of machine learning in cybersecurity: A systematic review. IEEE Access, 10, 102001–102029. https://doi.org/10.1109/ACCESS.2022.3206714
10. O'Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown Publishing Group.
11. Papernot, N., McDaniel, P., Sinha, A., & Wellman, M. P. (2018). SoK: Security and privacy in machine learning. In Proceedings of the 2018 IEEE European Symposium on Security and Privacy (EuroS&P) (pp. 399–414). IEEE. https://doi.org/10.1109/EuroSP.2018.00035
12. Kaplan, A., & Haenlein, M. (2019). Siri, Siri, in my hand: Who's the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence. Business Horizons, 62(1), 15–25. https://doi.org/10.1016/j.bushor.2018.08.004
13. Taddeo, M., & Floridi, L. (2018). How AI can be a force for good. Science, 361(6404), 751–752. https://doi.org/10.1126/science.aat5991
14. He, H., Gray, J., Cangelosi, A., et al. (2020). The challenges and opportunities of human-centered AI for trustworthy robots and autonomous systems. Proceedings of the IEEE, 108(7), 1041–1054. https://doi.org/10.1109/JPROC.2020.2996585
15. Cath, C., Wachter, S., Mittelstadt, B., et al. (2018). Artificial intelligence and the 'good society': The US, EU, and UK approach. Science and Public Policy, 45(2), 163–176. https://doi.org/10.1093/scipol/scx024

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

DOI: 10.14489/vkit.2026.04.pp.023-030

Скопируйте DOI статьи и перейдите по ссылке https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

В комментарии к заказу обязательно укажите DOI статьи.

Eng

This article is available in electronic format (PDF).

DOI: 10.14489/vkit.2026.04.pp.023-030

Copy the article DOI and follow the link https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

Please specify the article DOI in the order comments.