|
DOI: 10.14489/vkit.2024.11.pp.027-034
Путря Ф. М., Никитин С. А.
АНАЛИЗ ВОЗМОЖНОСТЕЙ АВТОМАТИЗАЦИИ МАРШРУТА ВЕРИФИКАЦИИ СИСТЕМ НА КРИСТАЛЛЕ И СЛОЖНОФУНКЦИОНАЛЬНЫХ БЛОКОВ
(с. 27-34)
Аннотация. Представлен результат комплексного обзора маршрута функциональной верификации систем на кристалле и сложнофункциональных блоков. Цель исследования – выявление наиболее трудозатратных действий в рамках верификации, полная автоматизация которых еще не достигнута, но теоретически возможна с использованием современных инструментов и подходов, в частности с помощью искусственного интеллекта. Детально проанализированы маршрут верификации, включая классификацию действий, применение современных систем автоматизированного проектирования, дан обзор научных публикаций по каждому этапу. Основное внимание уделяется этапам, автоматизация которых может значительно повысить эффективность труда верификаторов. Рассмотрены проблемы формализации, интеграции существующих решений и потенциал использования искусственного интеллекта и машинного обучения. Выявлены перспективные направления развития автоматизации верификации.
Ключевые слова: верификация; система на кристалле; автоматизация; анализ результата тестов; большие языковые модели.
Putrya F. M., Nikitin S. A.
SYSTEM-ON-A-CHIP AND IP-CORES VERIFICATION FLOW: ANALYSIS OF OPPORTUNITIES FOR AUTOMATION
(pp. 27-34)
Abstract. The main point of this paper is a deep review of automation possibilities in SoC and IP-cores verification process. The verification process takes a great effort and spends a lot of time in the common process of IC development. And that flow is too complex to allow hard formal ways for resolving. So any verification engineer tries to implement some automations steps to speed up the verification process. And there are a lot of CAD tools which should help in that. However, the CADs provided by the “big 3” only cover selected steps in the verification process, so there is a need to identify route steps that are not covered by the CADs. This article presents a review of all stages of the verification route in terms of the possibility of automating each stage or all flow. Main stages of the verification process will be observed and analyzed. Existing CAD tools which cover some stages and a “white spaces” in automation flow will be pointed. Methods of automation verification process also will be observed. Most popular of them are reusing, generation from template, format methods, LLM-models and so on. Possible advantages from each of them for each verification stage will be analyzed. Also the verification process as flow will be analyzed to detect most work consumption stages and develop recommendations for possible methods to reduce it. The article is aimed at systematization of knowledge on the verification of SoC and IP-cores area and finding of promising directions of verification automation development.
Keywords: Verification; System-on-a-Chip; Automation; Test result analyze; Large language models.
Ф. М. Путря, С. А. Никитин (АО «НПЦ «ЭЛВИС», Москва, Зеленоград, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
F. M. Putrya, S. A. Nikitin (JSC “ELVEES RnD Center”, Moscow, Zelenograd, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Harry D. Foster. Wilson Research Group IC/ASIC functional verification trends // White paper. 2022. URL: https://resources.sw.siemens.com/en-US/white-paper-2022-wilson-research-group-functional-verification-study-ic-asic-functional-verification-trend-report (дата обращения: 21.10.2024).
2. Fung H. P. Criteria, use cases and effects of information technology process automation // Advances in Robotics & Automation. 2014. Т. 3. DOI: 10.4172/2168-9695.1000124
3. Xcelium Logic Simulator // Cadence Design Systems URL: https://www.cadence.com/en_US/home/tools/system-design-and-verification/simulation-and-testbench-verification/xcelium-simulator.html (дата обращения: 21.10.2024).
4. VCS Functional Verification Solution // Synopsys Verification URL: https://www.synopsys.com/verification/simulation/vcs.html (дата обращения: 21.10.2024).
5. Questa Advanced Simulator // Siemens Software URL: https://eda.sw.siemens.com/en-US/ic/questa/simulation/advanced-simulator/ (дата обращения: 21.10.2024).
6. Harshitha N. B., Praveen Kumar Y. G., Kurian M. Z. An Introduction to Universal Verification Methodology for the digital design of Integrated circuits (IC’s): A Review // Proc. of the International Conference on Artificial Intelligence and Smart Systems (ICAIS). 2021. Coimbatore, India, 25–27 March 2021. P. 1710–1713. DOI: 10.1109/ICAIS50930.2021.9396034
7. Liu R., Shah N. B. ReviewerGPT? An Exploratory Study on Using Large Language Models for Pa per//arXiv preprint. 2023. arXiv:2306.00622.
8. Куренков К. UVM: общие сведения и организация методологии // FPGA-systems.ru: сайт 2021. URL: https://fpga-systems.ru/articles/132/uvmgiaootm.pdf (дата обращения: 21.10.2024).
9. System VIP // Cadence Design Systems URL: https://www.cadence.com/en_US/home/tools/system-design-and-verification/system-vip.html (дата обращения: 21.10.2024).
10. Ronacher A. Jinja2 documentation //Welcome to Jinja2–Jinja2 Documentation (2.8-dev). 2008. URL: http://mitsuhiko.pocoo.org/jinja2docs/Jinja2.pdf (дата обращения: 21.10.2024).
11. Ben-Kiki O., Evans C., Ingerson B. Yaml ain’t markup language (yaml™) version 1.1 //Working Draft 2008. 2009. Т. 5, №. 11. 82 с. URL: https://yaml.org/spec/history/2004-12-28/2004-12-28.pdf (дата обращения: 21.10.2024).
12. UVM Framework (UVMF) // Verification Acedemy URL: https://verificationacademy.com/topics/uvm-universal-verification-methodology/uvmf/ (дата обращения: 21.10.2024).
13. Автоматизация процесса создания тестовых окружений, обеспечивающая сквозной маршрут разработки, верификации и исследования СФ-блоков и СНК / К.А. Жезлов, Я.С. Колбасов, А.О. Козлов и др. // Проблемы разработки перспективных микро- и наноэлектронных систем. 2016. № 2. С. 46–53.
14. Метод создания и отладки комплексных тетов для функциональной верификации СнК, ориентированный на их повторное использование на всех этапах проектирования / Е. Головина, М. Макеева, А. В. Николаев и др. // Проблемы разработки перспективных микро- и наноэлектронных систем-2014: сб. трудов; под общ. ред. академика РАН А.Л. Стемп-ковского. М.: ИППМ РАН, 2014. Ч. 2. С. 45–50.
15. Henry S., Regmi N. How to Close Coverage 10x Faster using Portable Stimulus Standard-A Case Study // 19th International Workshop on Microprocessor and SOC Test and Verification (MTV). Austin, TX, USA.9-10 Dec. – С. 28–30. DOI: 10.1109/MTV.2018.00015
16. Verisium AI-Driven Verification Platform // Cadence Design Systems URL: https://www.cadence.com/en_US/home/tools/system-design-and-verification/ai-driven-verification.html (дата обращения: 21.10.2024).
17. Жезлов К. А., Никитин С. А. Инструменты генерации и анализа результатов тестов производи-тельности систем на кристалле // Вопросы радиоэлектроники. 2019. № 8. С. 43–49.
18. Практика и перспективы применения открытых и собственных программных решений в маршруте верификации систем на кристалле / А. В. Гаращенко, Д. С. Лашина, С. А. Никитин и др. // Труды ИСП РАН. 2022. Т. 34, вып. 5. С. 23–42. DOI: 10.15514/ISPRAS-2022-34(5)-2
19. Mutation Testing – Software Testing // Geeks-ForGeeks. URL: https://www.geeksforgeeks.org/software-testing-mutation-testing/ (дата обращения: 21.10.2024).
1. Harry D. Foster. (2022). Wilson Research Group IC/ASIC functional verification trends. White paper. Retrieved from https://resources.sw.siemens.com/en-US/white-paper-2022-wilson-research-group-functional-verification-study-ic-asic-functional-verification-trend-report (Accessed: 21.10.2024).
2. Fung H. P. (2014). Criteria, use cases and effects of information technology process automation. Advances in Robotics & Automation, 3.
3. Xcelium Logic Simulator. Cadence Design Systems Retrieved from https://www.cadence.com/en_US/home/tools/system-design-and-verification/simulation-and-testbench-verification/xcelium-simulator.html (Accessed: 21.10.2024).
4. VCS Functional Verification Solution. Synopsys Verification. Retrieved from https://www.synopsys.com/verification/simulation/vcs.html (Accessed: 21.10.2024).
5. Questa Advanced Simulator. Siemens Software Retrieved from https://eda.sw.siemens.com/en-US/ic/questa/simulation/advanced-simulator/ (Accessed: 21.10.2024).
6. Harshitha N. B., Praveen Kumar Y. G., Kurian M. Z. (2021). An Introduction to Universal Verification Methodology for the digital design of Integrated circuits (IC’s): A Review. Procceedings of the International Conference on Artificial Intelligence and Smart Systems (ICAIS), 1710 – 1713. Coimbatore. DOI: 10.1109/ICAIS50930.2021.9396034
7. Liu Ryan, Shah Nihar (2023). ReviewerGPT? An Exploratory Study on Using Large Language Models for Paper Reviewing.
8. Kurenkov K. UVM: general information and methodology organization. FPGA-systems. Retrieved from https://fpga-systems.ru/articles/132/uvmgiaootm.pdf (Accessed: 21.10.2024). [in Russian language]
9. System VIP. Cadence Design Systems. Retrieved from https://www.cadence.com/en_US/home/tools/system-design-and-verification/system-vip.html (Accessed: 21.10.2024).
10. Ronacher A. (2008). Jinja2 documentation. Welcome to Jinja2—Jinja2 Documentation (2.8-dev). (Accessed: 21.10.2024).
11. Ben-Kiki O., Evans C., Ingerson B. (2009). Yaml ain’t markup language (yaml™) version 1.1. Working Draft, 5(11). (Accessed: 21.10.2024).
12. UVM Framework (UVMF) // Verification Acedemy URL: https://verificationacademy.com/topics/uvm-universal-verification-methodology/uvmf/ (Ac-cessed: 21.10.2024).
13. Zhezlov K. A., Kolbasov Ya. S., Kozlov A. O. (2016). Automation of the process of creation of test environments, providing an end-to-end route for development, verification and research of sf-blocks and SoCs. Problems of developing promising micro- and nanoelectronic system, (2), 46 – 53. [in Russian lan-guage]
14. Stempkovskoy A. L (Ed.), Golovina E., Makeeva M., Nikolaev A. V. (2014). A method for creating and debugging complex tests for functional verifica-tion of SoCs, focused on their reuse at all stages of de-sign. Problems of developing promising micro- and nanoelectronic systems, part 2, 45 – 50. Moscow: IPPM RAN. [in Russian language]
15. Henry S., Regmi N. (2018). How to Close Cov-erage 10x Faster using Portable Stimulus Standard-A Case Study. 19th International Workshop on Micropro-cessor and SOC Test and Verification (MTV), 28 – 30.
16. Verisium AI-Driven Verification Platform. Ca-dence Design Systems. Retrieved from https://www.cadence.com/en_US/home/tools/system-design-and-verification/ai-driven-verification.html (Accessed: 21.10.2024).
17. Zhezlov K. A., Nikitin S. A. (2019). Tools for generating and analyzing system-on-chip performance test results. Voprosy radioelektroniki, (8), 43 – 49. [in Russian language]
18. Garashchenko A. V., Lashina D. S., Nikitin S. A. (2022). Practice and prospects for using open and proprietary software solutions in the verification route of systems on a chip. Trudy ISP RAN, 34(5), 23 – 42. [in Russian language] DOI: 10.15514/ISPRAS-2022-34(5)-2
19. Mutation Testing – Software Testing. Geeks-ForGeeks. Retrieved from https://www.geeksforgeeks.org/software-testing-mutation-testing/ (Accessed: 21.10.2024).
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2024.11.pp.027-034
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2024.11.pp.027-034
and fill out the form
.
|
Текущий номер
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»