|
DOI: 10.14489/vkit.2025.09.pp.054-060
Чуйко Д. О., Кретова А. А.
СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭФФЕКТИВНОСТИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ ПРИ ПРЕДСКАЗАНИИ РЕШЕНИЙ ИТ-ИНЦИДЕНТОВ
(с. 54-60)
Аннотация. Проведен сравнительный анализ эффективности больших языковых моделей (ChatGPT, DeepSeek, Claude, LLaMA) при предсказании решений ИТ-инцидентов. Оценка решений моделей осуществляется экспертной группой по четырем критериям: точность, детализация, практическая применимость и лаконичность. Полученные результаты показывают, что выбор модели зависит от сложности инцидента и требуемой глубины анализа, что позволяет дать рекомендации по оптимальному применению больших языковых моделей в системах управления ИТ-инцидентами.
Ключевые слова: большая языковая модель; управление инцидентами; ИТ-инфраструктура; машинное обучение; нейросеть; метрики оценки модели; анализ; искусственный интеллект.
Chuyko D. О., Kretova A. А.
COMPARATIVE ANALYSIS OF THE EFFECTIVENESS OF LARGE LANGUAGE MODELS IN PREDICTING IT INCIDENT SOLUTIONS
(pp. 54-60)
Abstract. Modern IT infrastructures are facing an increasing number of incidents, that require a fast and accurate response. In this regard, there is a growing interest in using large language models (LLM) to predict solutions automatically to eliminate IT incidents. A comparative analysis of four LLMs – ChatGPT, DeepSeek, Claude Sonnet, LLaMA – in the context of generating solutions based on textual descriptions of incidentsv is presented. A multi-criteria analysis with the participation of an expert group was used to assess the quality of the proposed models. The solutions were evaluated according to four criteria: accuracy, detail, practical applicability and conciseness. Based on 50 real-life incidents, responses were received from each model and then evaluated on a 5-point scale. The results showed that DeepSeek demonstrated the highest scores in accuracy and detail, making it the most suitable for complex technical incidents. Claude Sonnet and LLaMA distinguished themselves by their conciseness, providing quick perception of solutions in operational situations. ChatGPT showed good results in terms of applicability, but was inferior in terms of detail. A comparative analysis confirmed, that the choice of the optimal LLM depends on the specifics of the task: DeepSeek is preferable for deep diagnostics, whereas Claude Sonnet and LLaMA are suitable for rapid response. The data obtained can be used to improve the efficiency of IT incident management systems by choosing a more accurate model depending on the operating conditions.
Keywords: Large language model; Incident Management IT infrastructure; Machine learnimg; Neural network; Model evaluation metrics; Analysis; Artificial intelligence.
Д. О. Чуйко, А. А. Кретова (Национальный исследовательский университет «Высшая школа экономики», Москва, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
D. О. Chuyko, A. А. Kretova (National Research University “Higher School of Economics”, Moscow, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Российские компании стали чаще сталкиваться со сбоями в работе ИТ-систем, 2025. Сайт. URL: https://www.comnews.ru/content/237360/2025-01-24/2025-w04/1008/rossiyskie-kompanii-stali-chasche-stalkivatsya-so-sboyami-rabote-it-sistem (дата обращения: 22.04.2025).
2. Микрюков А. А., Куулар А. В. Разработка модели управления инцидентами в информационной системе предприятия на основе трехуровневой архитектуры с использованием ключевых (релевантных) метрик // Открытое образование. 2020. № 3. С. 78–86.
3. Блинникова А. В., Нестерова Ю. О. Управление инцидентами в ITSM с использованием искусственного интеллекта // Вестник университета. 2020. № 6. С. 36–40.
4. Application of Large Language Models in Professional Fields / M. Zhou, W. Chen, S. Zhu, et al. // ISCTech: 11th International Conference on Information Systems and Computing Technology. Qingdao, China, 2023.
5. Claude 3.7 Sonnet vs ChatGPT и DeepSeek: 4 теста, которые покажут, кому верить в 2025. Сайт. URL: https://vc.ru/ai/1939933-sravnenie-claude-37-sonnet-chatgpt-i-deepseek (дата обращения: 24.04.2025).
6. Kuraku S., Samaah F., Dinesh D., Smith N. Study and Analysis of Chat GPT and Its Impact on Different Fields of Study // International Journal of Innovative Science and Research Technology. 2023. V. 8(3). P. 827–833.
7. Манжосов Д. К., Шитова Ю. Ю. Языковая модель ChatGPT как инновационный инструмент в области digital-маркетинга // Экономика: вчера, сегодня, завтра. 2024. Т. 14, № 1А. С. 462–467.
8. Joshi S. A Comprehensive Review of DeepSeek: Performance, Architecture and Capabilities. DOI: 10.20944/preprints202503.1887.v1
9. Колотов А. А. Температура как фактор проявления «потока сознания» в ответах GPT-3.5 Turbo и Claude 3 Sonnet // Современные научные исследования и инновации. 2025. № 4.
10. Что умеет новая модель Claude 3.5 Sonnet? Сайт. URL: https://habr.com/ru/companies/bothub/articles/823580/ (дата обращения: 24.04.2025).
11. Федорищев В. М., Русаков А. М., Шунгаров И. Х., Салпагаров С. И. Оптимизация обучения и повышение эффективности генерации текста на основе LLaMa // Информационно-телекоммуникаци¬онные технологии и математическое моделирование высокотехнологичных систем. 2024. С. 493–498.
12. Носов Д. А., Никитин А. А. Внедрение языковой модели GPT в разработку учебных материалов // Россия молодая: XV Всероссийская научно-прак¬тическая конференция молодых ученых. 18–21 апреля 2023.
13. Вишнеков А. В., Иванова Е. М. Методика оценки сложных технических проектов с учетом фактора импортозамещения // Проблемы информатики. 2016. № 1(30). C.73–83.
14. Карпова И. П., Вишнеков А. В., Ферапонтова Е. С. Расчет ценности альтернатив для метода «идеальной точки» в многокритериальных задачах принятия решения для ситуационных центров // Качество. Инновации. Образование. 2010. № 12. С. 56–60.
1. Russian companies have begun to encounter failures in IT systems more often, 2025. Website. Retrieved April 22, 2025, from https://www.comnews.ru/content/237360/2025-01-24/2025-w04/1008/rossiyskie-kompanii-stali-chasche-stalkivatsya-so-sboyami-rabote-it-sistem [in Russian language]
2. Mikryukov, A. A., & Kuular, A. V. (2020). Development of an incident management model in an enterprise information system based on a three-level architecture using key (relevant) metrics. Otkrytoe Obrazovanie, (3), 78–86. [in Russian language]
3. Blinnikova, A. V., & Nesterova, Yu. O. (2020). Incident management in ITSM using artificial intelligence. Vestnik Universiteta, (6), 36–40. [in Russian language]
4. Zhou, M., Chen, W., Zhu, S., et al. (2023). Application of large language models in professional fields [Conference presentation]. 11th International Conference on Information Systems and Computing Technology, Qingdao, China.
5. Claude 3.7 Sonnet vs ChatGPT and DeepSeek: 4 tests that will show who to trust in 2025. Website. Retrieved April 24, 2025, from https://vc.ru/ai/1939933-sravnenie-claude-37-sonnet-chatgpt-i-deepseek [in Russian language]
6. Kuraku, S., Samaah, F., Dinesh, D., & Smith, N. (2023). Study and analysis of Chat GPT and its impact on different fields of study. International Journal of Innovative Science and Research Technology, 8(3), 827–833.
7. Manzhosov, D. K., & Shitova, Yu. Yu. (2024). ChatGPT language model as an innovative tool in digital marketing. Ekonomika: Vchera, Segodnya, Zavtra, 14(1A), 462–467. [in Russian language]
8. Joshi, S. (2025). A comprehensive review of DeepSeek: Performance, architecture and capabilities. https://doi.org/10.20944/preprints202503.1887.v1
9. Kolotov, A. A. (2025). Temperature as a factor in the manifestation of "stream of consciousness" in responses of GPT-3.5 Turbo and Claude 3 Sonnet. Sovremennye Nauchnye Issledovaniya i Innovatsii, (4). [in Russian language]
10. What can the new Claude 3.5 Sonnet model do? Website. Retrieved April 24, 2025, from https://habr.com/ru/companies/bothub/articles/823580/ [in Russian language]
11. Fedorishchev, V. M., Rusakov, A. M., Shungarov, I. Kh., & Salpagarov, S. I. (2024). Optimization of training and improvement of text generation efficiency based on LLaMa. Informatsionno-Telekommunikatsionnye Tekhnologii i Matematicheskoe Modelirovanie Vysokotekhnologichnykh Sistem, 493–498. [in Russian language]
12. Nosov, D. A., & Nikitin, A. A. (2023, April 18–21). Implementation of GPT language model in educational materials development [Conference presentation]. Young Russia: XV All-Russian Scientific and Practical Conference of Young Scientists.
13. Vishnekov, A. V., & Ivanova, E. M. (2016). Methodology for evaluating complex technical projects taking into account import substitution factors. Problemy Informatiki, (30), 73–83. [in Russian language]
14. Karpova, I. P., Vishnekov, A. V., & Ferapontova, E. S. (2010). Calculation of alternative values for the "ideal point" method in multi-criteria decision-making problems for situational centers. Kachestvo. Innovatsii. Obrazovanie, (12), 56–60. [in Russian language]
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2025.09.pp.054-060
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2025.09.pp.054-060
and fill out the form
.
|
Текущий номер
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»