|
DOI: 10.14489/vkit.2022.10.pp.030-042
Дубенко Ю. В.
АЛГОРИТМ КОЛЛЕКТИВНОГО ВЗАИМОДЕЙСТВИЯ ИНТЕЛЛЕКТУАЛЬНЫХ АГЕНТОВ В ЦЕНТРАЛИЗОВАННЫХ МНОГОАГЕНТНЫХ СИСТЕМАХ
(с. 30-42)
Аннотация. Рассмотрена централизованная многоагентная система, основанная на методах феодального обучения с подкреплением, включающая агентов-менеджеров и агентов-подчиненных. Рассмотрен стандартный алгоритм функционирования систем данного типа, включающий трансляцию лицом, принимающим решения, агентам-менеджерам, которые выполняют разбиение задачи на множество подзадач, делают выбор применяемой стратегии, формируют функции вознаграждений, назначение задач агентам-подчиненным, выполнение агентами-подчиненными поставленных задач. Приведены основные проблемы данного алгоритма, внесены изменения, позволяющие обеспечить возможности автоматического назначения агентов-менеджеров и формирования вокруг них групп агентов-подчиненных, воспроизведения и обмена опытом. Описаны принципы работы системы машинного зрения, реализующей модернизированный алгоритм. Приведена оценка эффективности полученного алгоритма коллективного взаимодействия интеллектуальных агентов с использованием программной модели, разработанной в Microsoft Unity. риведено сравнение стандартного алгоритма мультиагентного взаимодействия и предложенного алгоритма коллективного взаимодействия интеллектуальных агентов в централизованных многоагентных системах на основе подхода обучения с подкреплением и визуализацией трехмерных сцен. Сделан вывод о целесообразности применения разработанного алгоритма.
Ключевые слова: многоагентные системы; коллективное взаимодействие; трехмерная реконструкция; машинное зрение; феодальное обучение с подкреплением.
Dubenko Yu. V.
AN ALGORITHM OF THE COLLECTIVE INTERACTION OF INTELLIGENT AGENTS IN CENTRALIZED MULTI-AGENT SYSTEMS
(pp. 30-42)
Abstract. A centralized multiagent system based on the methods of feudal reinforcement learning, including agents-managers and agents-subordinates, is considered. A brief review of the author’s previous works on this topic is given. The standard algorithm for the functioning of systems of this type is considered, including the translation of the decision maker to agents-managers, the division of tasks by agents-managers into a set of subtasks, the choice by the agent-manager of the strategy used, the formation of reward functions by agents-managers, the assignment of tasks to agents-subordinates, the execution by agents-subordinates assigned tasks. The main problems of this algorithm are presented, changes are made to ensure the possibility of automatically assigning agent-managers and forming groups of subordinate agents around them, reproducing and exchanging experience. More attention is paid to the problem of experience exchange, the main ways of experience exchange are given. The principles of operation of a machine vision system that implements an upgraded algorithm are described. An assessment of the effectiveness of the obtained algorithm for the collective interaction of intelligent agents using a software model developed in Microsoft Unity is given. A comparison is made between the standard algorithm for multiagent interaction and the proposed algorithm for the collective interaction of intelligent agents in centralized multi-agent systems based on the approach of reinforcement learning and visualization of three-dimensional scenes. The conclusion is made about the expediency of using the developed algorithmt.
Keywords: Multiagent systems; Collective interaction; 3D reconstruction; Machine vision; Feudal reinforcement learning.
Ю. В. Дубенко (Кубанский государственный технологический университет, Краснодар, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
Yu. V. Dubenko (Kuban State Technological University, Krasnodar, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Дубенко Ю. В. Аналитический обзор проблем многоагентного обучения с подкреплением // Вестник компьютерных и информационных технологий. 2020. № 6. С. 48 – 56. DOI: 10.14489/vkit.2020.06.pp.048-056
2. Дубенко Ю. В., Дышкант Е. Е., Гура Д. А. Анализ иерархического обучения с подкреплением для реализации поведенческих стратегий интеллектуальных агентов // Вестник компьютерных и информационных технологий. 2020. № 9. С. 35 – 45. DOI: 10.14489/vkit.2020.09.pp.035-045
3. Симанков В. С., Дубенко Ю. В. Системный анализ в иерархических интеллектуальных многоагентных системах // Вестник компьютерных и информационных технологий. 2021. № 3. С. 33 – 46. DOI: 10.14489/vkit.2021.03.pp.033-046
4. Foerster J. N. Deep Multi-Agent Reinforcement Learning. University of Oxford, 2018. URL: https://ora.ox.ac.uk/objects/uuid:a55621b3-53c0-4e1b-ad1c-92438b57ffa4
5. Дубенко Ю. В., Дышкант Е. Е., Тимченко Н. Н., Рудешко Н. А. Гибридный алгоритм формирования кратчайшей траектории, основанный на применении многоагентного обучения с подкреплением и обмена опытом // Вестник компьютерных и информационных технологий. 2021. № 11. С. 13 – 26. DOI: 10.14489/vkit.2021.11.pp.013-026
6. Dubenko Yu., Dyshkant E., Gura D. Multi-Agent Reinforcement Learning for Robot Collaboration // Smart Innovation, Systems and Technologies. 2022. V. 247. P. 607 – 623.
7. Дубенко Ю. В. Метод повторного применения и обмена опытом при коллективном взаимодействии интеллектуальных агентов // Вестник Воронежского государственного технического университета. 2022. Т. 18, № 1. С. 62 – 72.
8. Дубенко Ю. В., Дышкант Е. Е., Тимченко Н. Н., Рудешко Н. А. Метод реконструкции трехмерных сцен, основанный на применении сверточных нейронных сетей, фильтрации по дистанции и с помощью «октодерева» // Изв. высших учебных заведений. Поволжский регион. Технические науки. 2021. № 4(60). С. 43 – 54. DOI: 10.21685/2072-3059-2021-4-4
9. Саттон Р. С., Барто Э. Дж. Обучение с подкреплением: Введение / пер. с англ. А. А. Слинкина. 2-е изд. М.: ДМК Пресс, 2020. 552 с.
10. Пат. № RU2650857 C1. Система определения геометрических параметров трехмерных объектов / Ю. В. Дубенко, Н. Н. Тимченко; правообладатель: Кубанский государственный технологический университет; заявка № 2017111746; заявл. 06.04.2017; опубл. 17.04.2018, Бюл. № 11.
11. He K., Gkioxari G., Dollár P., Girshick R. Mask R-CNN // Computer Vision and Pattern Recognition. Submitted on 20 March 2017 (v1), last revised 24 January 2018 (v3).
12. Дубенко Ю. В., Дышкант Е. Е., Рудешко Н. А., Тимченко Н. Н. Научно-технический отчет по результатам выполнения этапа по договору № 3617ГС1/60550 (код 0060550) от 20.07.2020 «Разработка цифровой платформы для обеспечения безопасности дорожной инфраструктуры с применением трехмерного лазерного сканирования», регистрационный номер ИКРБС: АААА-Б20-220122990242-9, дата регистрации: 29.12.2020. 64 с.
13. Скворцов А. В. Триангуляция Делоне и ее применение. Томск: Изд-во Том. гос. ун-та, 2002. 128 с.
14. RocNet: Recursive Octree Network for Efficient 3D Deep Representation / J. Liu, S. Mills, B. McCane // 2020 International Conference on 3D Vision (3DV). 2020. P. 414 – 422. DOI: 10.1109/3DV50981.2020.00051
1. Dubenko Yu. V. (2020). Analytical review of multiagent reinforcement learning problems. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, (6), pp. 48 – 56. [in Russian language] DOI: 10.14489/vkit.2020.06.pp.048-056
2. Dubenko Yu. V., Dyshkant E. E., Gura D. A. (2020). Analysis of hierarchical learning with reinforcement for the implementation of behavioral strategies of intelligent agents. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, (9), pp. 35 – 45. [in Russian language] DOI: 10.14489/vkit.2020.09.pp.035-045
3. Simankov V. S., Dubenko Yu. V. (2021). System analysis in hierarchical intelligent multiagent systems. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, (3), pp. 33 – 46. [in Russian language] DOI: 10.14489/vkit.2021.03.pp.033-046
4. Foerster J. N. (2018). Deep Multi-Agent Reinforcement Learning. University of Oxford. Available at: https://ora.ox.ac.uk/objects/uuid:a55621b3-53c0-4e1b-ad1c-92438b57ffa4
5. Dubenko Yu. V., Dyshkant E. E., Timchenko N. N., Rudeshko N. A. (2021). A hybrid algorithm for forming the shortest trajectory based on the application of multiagent learning with reinforcement, the search algorithm a* and exchange of experience. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, (11), pp. 13 – 26. [in Russian language] DOI: 10.14489/vkit.2021.11.pp.013-026
6. Dubenko Yu., Dyshkant E., Gura D. (2022). Multi-Agent Reinforcement Learning for Robot Collaboration. Smart Innovation, Systems and Technologies, Vol. 247, pp. 607 – 623.
7. Dubenko Yu. V. (2022). The method of reapplication and exchange of experience in the collective interaction of intelligent agents. Vestnik Voronezhskogo gosudarstvennogo tekhnicheskogo universiteta, Vol. 18, (1), pp. 62 – 72. [in Russian language]
8. Dubenko Yu. V., Dyshkant E. E., Timchenko N. N., Rudeshko N. A. (2021). A method for reconstructing three-dimensional scenes based on the use of convolutional neural networks, filtering by distance and using an “octree”. Izvestiya vysshih uchebnyh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki, 60(4), pp. 43 – 54. [in Russian language] DOI: 10.21685/2072-3059-2021-4-4
9. Satton R. S., Barto E. Dzh. (2020). Reinforcement Learning: An Introduction. 2nd ed. Moscow: DMK Press. [in Russian language]
10. Dubenko Yu. V., Timchenko N. N. (2018). System for determining the geometric parameters of three-dimensional objects. Ru Patent No. RU 2650857 C1. [in Russian language]
11. He K., Gkioxari G., Dollár P., Girshick R. (2018). Mask R-CNN. Computer Vision and Pattern Recognition.
12. Dubenko Yu. V., Dyshkant E. E., Rudeshko N. A., Timchenko N. N. (2020). Scientific and technical report on the results of the stage under contract No. 3617GS1/60550. "Development of a digital platform for ensuring the safety of road infrastructure using three-dimensional laser scanning". [in Russian language]
13. Skvortsov A. V. (2002). Delaunay triangulation and its application. Tomsk: Izdatel'stvo Tomskogo gosudarstvennogo universiteta. [in Russian language]
14. Liu J., Mills S., McCane B. (2020). RocNet: Recursive Octree Network for Efficient 3D Deep Representation. 2020 International Conference on 3D Vision (3DV), pp. 414 – 422. DOI: 10.1109/3DV50981.2020.00051
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 500 руб. (в том числе НДС 20%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2022.10.pp.030-042
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 500 rubles. (including VAT 20%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2022.10.pp.030-042
and fill out the form
.
|
Архив номеров
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»