|
DOI: 10.14489/vkit.2024.04.pp.017-029
Вишняков Б. В., Сгибнев И. В., Солоделов Ю. А., Краснощеков Д. В., Николаев К. А, Воронков Г. В., Брянский С. А., Штраух А. С., Власенкова А. Д.
АНАЛИЗ ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ В ЗАДАЧЕ ОЦЕНКИ ТРЕБОВАНИЙ К ПРОЕКТИРОВАНИЮ КОНСТРУКЦИИ АВИАЦИОННОГО БОРТОВОГО ОБОРУДОВАНИЯ
(c. 17-29)
Аннотация. Проанализирована проблема автоматической оценки технических требований. Один из рассматриваемых аспектов – обоснование подготовки специфических данных, которые должны использоваться при обучении архитектуры нейронной сети типа «трансформер». Для этого проведено сравнение содержания требований к программному обеспечению и конструкторских требований. Приведено обоснование выбора критериев корректности требований, и на примерах продемонстрированы варианты нарушения этих критериев. Предложен метод, позволяющий классифицировать требования на их соответствие и несоответствие правилам. Рассмотрены архитектуры RuBERT, RuBERT-tiny, RuRoBERTa-large, RuDeBERTa, RuDeBERTa-distill. Для проведения экспериментов был собран небольшой набор данных с требованиями к программному обеспечению с корректными и некорректными примерами для правил неделимости, завершенности, однозначности и корректности. В качестве оценки точности алгоритмов использовалась F1-мера. Выявлено, что модель RuBERT-tiny продемонстрировала оптимальный результат на небольшом наборе данных с точки зрения минимального времени вывода и наибольшего значения F1-меры для большинства правил. Другие рассмотренные архитектуры также позволили получить высокие значения F1-меры. Это свидетельствует о возможности использования архитектур нейронных сетей для задач автоматической оценки и классификации технических требований, что потенциально может улучшить качество предварительного анализа и сократить временны́е затраты на проверку их корректности в процессе разработки программного обеспечения.
Ключевые слова: анализ требований; обработка естественного языка; нейронные сети; архитектура «трансформер»; NLP; BERT.
Vishnyakov B. V., Sgibnev I. V., Solodelov Yu. A., Krasnoshchekov D. V., Nikolaev K. A., Voronkov G. V., Brianskiy S. A., Shtraukh A. S., Vlasenkova A. D.
ANALYSIS OF NATURAL LANGUAGE TEXTS IN THE TASK OF ASSESSING REQUIREMENTS FOR THE DESIGN OF AIRCRAFT AVIONICS
(pp. 17-29)
Abstract. The problem of automatic assessment of technical requirements is analyzed. One of the aspects considered is the rationale for the preparation of specific data that should be used in the training of a “transformer” neural network. For this purpose, we compare the software requirements with the design requirements. The criteria for the requirement correctness check are provided, the cases of violation of these criteria are shown. The method that allows to classify requirements according to their compliance and non-compliance with the rules is proposed. Such state-of-the-art transformer architectures as RuBERT, RuBERT-tiny, RuRoBERTa-large, RuDeBERTa, RuDeBERTa-distill are considered. The small dataset of software requirements containing both correct and incorrect examples for the “indivisibility”, “completeness”, “unambiguity” and “correctness” rules to conduct experiments was used. The F1-score to evaluate the algorithms is calculated. Experimental results show that the RuBERT-tiny model demonstrates optimal performance on this small dataset in terms of minimum inference time and the highest value of the F1-score for most rules. High values of the F1-score for the other models were also obtained. It can be concluded that the considered neural network architectures can be used for the tasks of automatic assessment and classification of technical requirements. The use of a “transformer” neural network can potentially improve the quality of preliminary analysis and reduce the time spent on verifying their correctness in the software development process.
Keywords: Requirements analysis; Natural language processing; Neural networks; Transformer architecture; NLP; BERT.
Б. В. Вишняков, И. В. Сгибнев, Ю. А. Солоделов, Д. В. Краснощеков, К. А. Николаев, Г. В. Воронков, С. А. Брянский, А. С. Штраух (ФАУ «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва, Россия)
А. Д. Власенкова (Московский авиационный институт (национальный исследовательский университет), Москва, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
B. V. Vishnyakov, I. V. Sgibnev, Yu. A. Solodelov, D. V. Krasnoshchekov, K. A. Nikolaev, G. V. Voronkov, S. A. Brianskiy, A. S. Shtraukh (FAA “State Research Institute of Aviation Systems” SSC RF, Moscow, Russia)
A. D. Vlasenkova (Moscow Aviation Institute (National Research University), Moscow, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Семантический анализ для автоматической обработки естественного языка [Электронный ресурс]. URL: https://rdc.grfc.ru/2021/09/semantic_analysis (дата обращения: 19.03.2024).
2. Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space [Электронный ресурс]. URL: https://arxiv.org/abs/1301.3781 (дата обращения: 19.03.2024).
3. Attention Is All You Need [Электронный ресурс]. URL: https://arxiv.org/abs/1706.03762 (дата обращения: 19.03.2024).
4. OpenAI GPT-4 Technical Report [Электронный ресурс]. URL: https://arxiv.org/abs/2303.08774 (дата обращения: 19.03.2024).
5. Devlin J., Chang M. W., Lee K., Toutanova K. BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding [Электронный ресурс]. URL: https://arxiv.org/abs/1810.04805 (дата обращения: 19.03.2024).
6. Training Language Models to Follow Instructions with Human Feedback / L. Ouyang et al. // Advances in Neural Information Processing Systems. 2022. V. 35. P. 27730–27744.
7. Formal Specifications from Natural Language / C. Hahn et al. URL: https://arxiv.org/abs/2206.01962 (дата обращения: 19.03.2024).
8. Exploring the Limits of Transfer Learning with a Unified Text-to-text Transformer [Электронный ресурс]. URL: https://arxiv.org/abs/1910.10683 (дата обращения: 19.03.2024).
9. A Guide to the Business Analysis Body of Knowledge [Электронный ресурс]. URL: https://www.iiba.org/career-resources/a-business-analysis-professionals-foundation-for-success/babok/ (дата обращения: 19.03.2024).
10. Wiegers K. E. Writing Quality Requirements. Redmond: Microsoft Press, 1999. 350 p.
11. Wake B. Invest in Good Stories, and Smart Tasks [Электронный ресурс]. URL: https://xp123.com/invest-in-good-stories-and-smart-tasks/ (дата обращения: 19.03.2024).
12. Requirements Management Using IBM Rational RequisitePro [Электронный ресурс]. URL: https://archive.org/details/requirementsmana0000ziel (дата обращения: 19.03.2024).
13. IBM Corporation, IBM Rational DOORS: Get It Right the First Time [Электронный ресурс]. URL: https://www.ibm.com/docs/en/SSYQBZ_9.5.0/com.ibm.doors.requirements.doc/topics/get_it_right_the_first_time.pdf (дата обращения: 19.03.2024).
14. Loshchilov I., Hutter F. Efficient Estimation of Word Representations in Vector Space [Электронный ресурс]. URL: https://arxiv.org/abs/1711.05101 (дата обращения: 19.03.2024).
15. Kuratov Yu., Arkhipov M. Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language [Электронный ресурс]. URL: https://arxiv.org/abs/1905.07213 (дата обращения: 19.03.2024).
16. Sennrich R., Haddow B., Birch A. Neural Machine Translation of Rare Words with Subword Units [Электронный ресурс]. URL: https://arxiv.org/abs/1508.07909 (дата обращения: 19.03.2024).
17. Kolesnikova A., Kuratov Yu., Konovalov V., Burtsev M. Knowledge Distillation of Russian Language Models with Reduction of Vocabulary. URL: https://arXiv:2205.02340 (дата обращения: 19.03.2024).
18. A Family of Pretrained Transformer Language Models for Russian / D. Zmitrovich, A. Abramov, A. Kalmykov et al. URL: https://arxiv.org/abs/2309.10931 (дата обращения: 19.03.2024).
19. RoBERTa: A Robustly Optimized BERT Pretraining Approach / Y. Liu, M. Ott, N. Goyal et al. URL: https://arxiv.org/abs/1907.11692 (дата обращения: 19.03.2024).
20. DeBERTa: Decoding-enhanced BERT with Disentangled Attention / P. He, X. Liu, J. Gao et al. URL: https://arxiv.org/abs/2006.03654 (дата обращения: 19.03.2024).
21. DeBERTa-distill [Электронный ресурс]. URL: https://huggingface.co/deepvk/deberta-v1-distill#deberta-distill (дата обращения: 19.03.2024).
22. Gao B., Pavel L. On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning [Электронный ресурс]. URL: https://arxiv.org/pdf/1704.00805.pdf (дата обращения: 19.03.2024).
23. Loshchilov I., Hutter F. Decoupled Weight Decay Regularization [Электронный ресурс]. URL: https://arxiv.org/abs/1711.0510 (дата обращения: 19.03.2024).
24. PyTorch. Key Features & Capabilities [Электронный ресурс]. URL: https://pytorch.org/ (дата обращения: 19.03.2024).
1. Semantic Analysis for Automatic Natural Language Processing. Retrieved from https://rdc.grfc.ru/2021/09/semantic_analysis (Accessed: 19.03.2024). [in Russian language]
2. Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space. Retrieved from https://arxiv.org/abs/1301.3781 (Accessed: 19.03.2024).
3. Attention Is All You Need. Retrieved from https://arxiv.org/abs/1706.03762 (Accessed: 19.03.2024).
4. OpenAI GPT-4 Technical Report. Retrieved from https://arxiv.org/abs/2303.08774 (Accessed: 19.03.2024).
5. Devlin J., Chang M. W., Lee K., Toutanova K. BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding. Retrieved from https://arxiv.org/abs/1810.04805 (Accessed: 19.03.2024).
6. Ouyang L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. Advances in Neural Information Processing Systems, 35, 27730 – 27744.
7. Hahn C. et al. Formal Specifications from Natural Language. Retrieved from https://arxiv.org/abs/2206.01962 (Accessed: 19.03.2024).
8. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Retrieved from https://arxiv.org/abs/1910.10683 (Accessed: 19.03.2024).
9. A Guide to the Business Analysis Body of Knowledge. Retrieved from https://www.iiba.org/career-resources/a-business-analysis-professionals-foundation-for-success/babok/ (Accessed: 19.03.2024).
10. Wiegers K. E. (1999). Writing Quality Require-ments. Redmond: Microsoft Press.
11. Wake B. Invest in Good Stories, and Smart Tasks. Retrieved from https://xp123.com/invest-in-good-stories-and-smart-tasks/ Accessed: 19.03.2024).
12. Requirements Management Using IBM Rational RequisitePro. Retrieved from https://archive.org/details/requirementsmana0000ziel (Accessed: 19.03.2024).13. IBM Corporation, IBM Rational DOORS: Get It Right the First Time. Retrieved from https://www.ibm.com/docs/en/SSYQBZ_9.5.0/com.ibm.doors.requirements.doc/topics/get_it_right_the_first_time.pdf (Accessed: 19.03.2024).
14. Loshchilov I., Hutter F. Efficient Estimation of Word Representations in Vector Space. Retrieved from https://arxiv.org/abs/1711.05101 (Accessed: 19.03.2024).
15. Kuratov Yu., Arkhipov M. Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language. Retrieved from https://arxiv.org/abs/1905.07213 (Accessed: 19.03.2024).
16. Sennrich R., Haddow B., Birch A. Neural Machine Translation of Rare Words with Subword Units. Retrieved from https://arxiv.org/abs/1508.07909 (Accessed: 19.03.2024).
17. Kolesnikova A., Kuratov Yu., Konovalov V., Burtsev M. Knowledge Distillation of Russian Language Models with Reduction of Vocabulary. Retrieved from arXiv:2205.02340 (Accessed: 19.03.2024).
18. Zmitrovich D., Abramov A., Kalmykov A. et al. A Family of Pretrained Transformer Language Models for Russian. Retrieved from https://arxiv.org/abs/2309.10931 (Accessed: 19.03.2024).
19. Liu Y., Ott M., Goyal N. et al. RoBERTa: A Robustly Optimized BERT Pretraining Approach. Retrieved from https://arxiv.org/abs/1907.11692 (Accessed: 19.03.2024).
20. He P., Liu X., Gao J. et al. DeBERTa: Decodingenhanced BERT with Disentangled Attention. Retrieved from https://arxiv.org/abs/2006.03654 (Accessed: 19.03.2024).
21. DeBERTa-distill. Retrieved from https://huggingface.co/deepvk/deberta-v1-distill#deberta-distill (Accessed: 19.03.2024).
22. Gao B., Pavel L. On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning. Retrieved from https://arxiv.org/pdf/1704.00805.pdf (Accessed: 19.03.2024).
23. Loshchilov I., Hutter F. Decoupled weight decay regularization. Retrieved from https://arxiv.org/abs/1711.0510 (Accessed: 19.03.2024).
24. PyTorch. Key Features & Capabilities. Retrieved from https://pytorch.org/ (Accessed: 19.03.2024).
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2024.04.pp.017-029
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2024.04.pp.017-029
and fill out the form
.
|
Текущий номер
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»