10.14489/vkit.2026.05.pp.022-029

DOI: 10.14489/vkit.2026.05.pp.022-029

Штраух А. С., Сгибнев И. В., Бойко С. М., Юрлов П. Я., Агаркова Ю. А., Вишняков Б. В., Визильтер Ю. В.
МЕТОД КОНТРАСТИВНОЙ АВТОМАТИЧЕСКОЙ ЦЕПОЧКИ РАССУЖДЕНИЙ ДЛЯ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ
(с. 22-29)

Аннотация. Предложен новый метод промптинга – контрастивная автоматическая цепочка рассуждений (Contrastive Auto-CoT). Этот метод предназначен для повышения точности ответов больших языковых моделей (Large Language Models, LLM) за счет сочетания преимуществ подходов Auto-CoT и Contrastive CoT. С развитием и увеличением возможностей LLM их роль в задачах обработки естественного языка становится все более значимой. Вместе с тем проблемой остается обеспечение высокой точности генерируемых ответов. В методе Contrastive Auto-CoT автоматизирован процесс генерации примеров решения задач путем добавления контрастивного компонента: для каждого запроса формируются пары корректных и некорректных цепочек рассуждений. Эксперименты, проведенные с использованием модели Qwen2-7B-Instruct на наборе данных GSM8K, показали, что предложенный метод обеспечивает наилучший результат по метрике «точность», равный 0,81. Это превышает показатели рассматриваемых методов, включая Auto-CoT и Contrastive CoT. Полученные результаты подтверждают эффективность сочетания автоматизации и контрастивных примеров в промптинге. Очевиден потенциал предложенного подхода для повышения точности ответов LLM при решении задач, требующих многошаговых рассуждений.

Ключевые слова: большие языковые модели; методы промптинга; обработка естественного языка; цепочка рассуждений.

Shtraukh A. S., Sgibnev I. V., Boyko S. M., Yurlov P. Ia., Agarkova Yu. A., Vishniakov B. V., Vizilter Iu. V.
CONTRASTIVE AUTOMATIC CHAIN OF THOUGHT PROMPTING FOR LARGE LANGUAGE MODELS
(pp. 22-29)

Abstract. With the development and increasing capabilities of large language models, their role in natural language processing tasks is becoming ever more significant. At the same time, ensuring high accuracy of generated answers remains a key problem. In this paper, we propose a new prompting method – Contrastive Auto-Chain-of-Thought – intended to increase the accuracy of LLM answers by combining the advantages of the Auto-CoT and Contrastive CoT approaches. The Contrastive Auto-CoT method automates the process of generating examples of solving tasks, adding a contrastive component: for each query, pairs of correct and incorrect chains of reasoning are formed. Experiments conducted using the Qwen2-7B-Instruct model on the GSM8K dataset showed that the proposed method provides the highest result according to the accuracy score – 0.81, which exceeds the performance of the considered methods, including Auto-CoT and Contrastive CoT. The results confirm the effectiveness of combining automation and contrastive examples in prompting. They emphasize the potential of the proposed approach for increasing the accuracy of LLM answers when solving tasks that require multi-step reasoning.

Keywords: Large language models; Prompting techniques; Natural language processing; Chain-of-thought reasoning.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

А. С. Штраух, И. В. Сгибнев, С. М. Бойко, П. Я. Юрлов, Ю. А. Агаркова, Б. В. Вишняков, Ю. В. Визильтер (Государственный научно-исследовательский институт авиационных систем, Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

A. S. Shtraukh, I. V. Sgibnev, S. M. Boyko, P. Ia. Yurlov, Yu. A. Agarkova, B. V. Vishniakov, Iu. V. Vizilter (State Research Institute of Aviation Systems, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Survey of Hallucination in Natural Language Generation / Z. Ji, N. Lee, R. Frieske et al. // ACM computing surveys. 2023. T. 55, № 12. С. 1–38.
2. Zhang Z., Zhang A., Li M., Smola A. Automatic Chain of Thought Prompting in Large Language Models // Eleventh International Conference on Learning Representations (ICLR 2023). arxiv.org/abs/2210.03493.
3. Contrastive Chain-of-Thought Prompting / Y. K. Chia, G. Chen, L. A. Tuan et al. (2023). arxiv.org/abs/2311.09277.
4. Training Verifiers to Solve Math Word Problems / K. Cobbe, V. Kosaraju, M. Bavarian et al. (2021). arxiv.org/abs/2110.14168.
5. Hugging Face: Qwen2. Qwen Team, Alibaba Cloud. Сайт URL: https://huggingface.co/docs/transformers/model_doc/qwen2 (дата обращения: 03.10.25).
6. The Prompt Report: A Systematic Survey of Prompt Engineering Techniques / S. Schulhoff, M. Ilie, N. Balepur et al. arXiv preprint arXiv:2406.06608. 2024.
7. Gao T., Fisch A., Chen D. Making Pre-Trained Language Models Better Few-Shot Learners. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. V. 1. P. 3816–3830.
8. Large Language Models are Zero-Shot Reasoners / T. Kojima, S. S. Gu, M. Reid et al. // Advances in Neural Information Processing Systems. 2022. V. 35. P. 22199–22213. New Orleans, LA, USA, 28 November – 9 December 2022.
9. Chain-of-thought Prompting Elicits Reasoning in Large Language Models / J. Wei, X. Wang, D. Schuurmans et al. (2022) // Advances in Neural Information Processing Systems. 2022. P. 24824–24837. New Orleans, LA, USA, 28 November – 9 December 2022.
10. Hugging Face: all-MiniLM-L6-v2. Sentence Transformers team. Сайт URL: https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2 (дата обращения: 23.10.25).

Eng

1. Ji, Z., Lee, N., Frieske, R., et al. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 1–38.
2. Zhang, Z., Zhang, A., Li, M., & Smola, A. (2023). Automatic chain of thought prompting in large language models. Paper presented at the Eleventh International Conference on Learning Representations (ICLR 2023). https://arxiv.org/abs/2210.03493
3. Chia, Y. K., Chen, G., Tuan, L. A., et al. (2023). Contrastive chain of thought prompting. https://arxiv.org/abs/2311.09277
4. Cobbe, K., Kosaraju, V., Bavarian, M., et al. (2021). Training verifiers to solve math word problems. https://arxiv.org/abs/2110.14168
5. Hugging Face. (n.d.). Qwen2. Qwen Team, Alibaba Cloud. Retrieved October 3, 2025, from https://huggingface.co/docs/transformers/model_doc/qwen2
6. Schulhoff, S., Ilie, M., Balepur, N., et al. (2024). The prompt report: A systematic survey of prompt engineering techniques. https://arxiv.org/abs/2406.06608
7. Gao, T., Fisch, A., & Chen, D. (2021). Making pre trained language models better few shot learners. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Vol. 1, pp. 3816–3830).
8. Kojima, T., Gu, S. S., Reid, M., et al. (2022). Large language models are zero shot reasoners. In Advances in Neural Information Processing Systems (Vol. 35, pp. 22199–22213). New Orleans, LA, United States.
9. Wei, J., Wang, X., Schuurmans, D., et al. (2022). Chain of thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems (Vol. 35, pp. 24824–24837). New Orleans, LA, United States.
10. Hugging Face. (n.d.). all MiniLM L6 v2. Sentence Transformers team. Retrieved October 23, 2025, from https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 700 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2026.05.pp.022-029

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 700 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2026.05.pp.022-029

and fill out the form