10.14489/vkit.2021.03.pp.033-046

DOI: 10.14489/vkit.2021.03.pp.033-046

Симанков В. С., Дубенко Ю. В.
СИСТЕМНЫЙ АНАЛИЗ В ИЕРАРХИЧЕСКИХ ИНТЕЛЛЕКТУАЛЬНЫХ МНОГОАГЕНТНЫХ СИСТЕМАХ
(с. 33-46)

Аннотация. Выполнен системный анализ иерархической интеллектуальной многоагентной системы в общем виде, а также ее основной структурной единицы – интеллектуального агента, определены его основные подсистемы. В рамках анализа подсистемы компьютерного зрения сделан вывод о недостаточной проработке вопросов, связанных с обработкой окклюзий, автоматизацией процесса реконструкции трехмерных сцен, осуществлением обработки неструктурированного множества изображений. Предложена структура блока реконструкции трехмерных сцен, реализация которой направлена на устранение обозначенных проблем, характерных для подсистемы машинного зрения. Выполнен анализ основных методов реализации обучения без учителя, по результатам которого сделан вывод о целесообразности применения обучения с подкреплением при реализации систем данного типа. Рассмотрены такие разновидности обучения с подкреплением, как иерархическое и многоагентное обучения с подкреплением. Предложен метод сегментации макродействий, основанный на выполнении кластеризации методом распространения меток, в котором число переходов формализуется в виде весовых коэффициентов ребер.

Ключевые слова: иерархическая интеллектуальная многоагентная система; интеллектуальный агент; подсистема компьютерного зрения; подсистема обучения; подсистема реализации поведенческих стратегий агента; иерархическое обучение с подкреплением; многоагентное обучение с подкреплением.

Simankov V. S., Dubenko Yu. V.
SYSTEM ANALYSIS IN HIERARCHICAL INTELLIGENT MULTI-AGENT SYSTEMS
(pp. 33-46)

Abstract. The system analysis of the hierarchical intelligent multi-agent system in general, as well as its main structural unit, the intelligent agent, its major subsystems identified. As part of the analysis of the computer vision subsystem, it was concluded that the considered sources have insufficiently worked out issues related to the processing of occlusions, with the automation of the process of reconstruction of three-dimensional scenes, with the implementation of the processing of an unstructured set of images. The structure of the block for the reconstruction of three-dimensional scenes is proposed, the implementation of which is aimed at eliminating the indicated problems characteristic of the machine vision subsystem. The analysis of the main methods of implementing unsupervised learning is carried out, based on the results of which it is concluded that it is advisable to use reinforcement learning when implementing systems of this type. Such types of reinforcement learning as hierarchical reinforcement learning and multi-agent reinforcement learning are considered. A method for segmentation of macro actions is proposed, based on the implementation of clustering by the method of label propagation, in which the number of transitions is formalized in the form of weight coefficients of edges.

Keywords: Hierarchical intelligent multi-agent system; Intelligent agent; Computer vision subsystem; Learning subsystem; Subsystem for implementing agent’s behavioral strategies; Hierarchical reinforcement learning; Multi-agent reinforcement learning.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

В. С. Симанков, Ю. В. Дубенко (Кубанский государственный технологический университет, Краснодар, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

V. S. Simankov, Yu. V. Dubenko (Kuban State Technological University, Krasnodar, Russia) Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Симанков В. С. Автоматизация системных исследований. Краснодар: Изд-во КубГТУ, 2002. 376 с.
2. Рассел С., Норвиг П. Искусственный интеллект. Современный подход: пер. с англ. 2-е изд. М.: Вильямс, 2006. 1408 с.
3. Shen S. Accurate Multiple View 3D Reconstruction Using Patch-Based Stereo for Large-Scale Scenes // IEEE Transactions on Image Processing (TIP). Tampere, Finland, 2013. P. 1901 – 1914 DOI: 10.1109/TIP.2013.2237921
4. Hu X., Mordohai P. Least Commitment, Viewpoint-Based, Multi-View Stereo // 2012 Second Intern. Conf. on 3D Imaging, Modeling, Processing, Visualization & Transmission. Zurich, Switzerland, 2012. P. 531 – 538.
5. Mask R-CNN / K. He et al. // Computer Vision and Pattern Recognition. 2018. URL: https://arxiv.org/abs/1703.06870 (дата обращения: 01.02.2021).
6. Deformable Siamese Attention Networks for Visual Object Tracking / Y. Yu et al. // Computer Vision and Pattern Recognition. 2020. URL: https://arxiv.org/pdf/2004.06711.pdf (дата обращения: 01.02.2021).
7. Айрапетов А. Э., Коваленко А. А. Виды генеративно-состязательных сетей // Достижения науки и образования. 2019. № 4 (45). С. 7 – 13.
8. Пат. 2650857 Рос. Федерация, МПК G01B 9/027. Система определения геометрических параметров трехмерных объектов / Дубенко Ю. В., Тимченко Н. Н.; заявитель и патентообладатель ФГБОУ ВО «КубГТУ». № 2017111746; заявл. 06.04.2017; опубл. 17.04.2018, Бюл. № 11. 12 с.
9. Свидетельство о государственной регистрации программы для ЭВМ 2020614774 Рос. Федерация. Информационная система поддержки и принятия решений для методов сегментации изображений / Ю. В. Дубенко, М. Ю. Филиппов, Д. А. Гура, И. Г. Марковский; заявитель и патентообладатель ФГБОУ ВО «КубГТУ»; № 2020611698; заявл. 18.02.2020; опубл. 24.04.2020, Бюл. № 5. 1 с.
10. Достоверный и правдоподобный вывод в интеллектуальных системах / В. Н. Вагин и др.; под ред. В. Н. Вагина, Д. А. Поспелова. М.: Физматлит, 2008. 704 с.
11. Hierarchical Reinforcement Learning for Robot Navigation using the Intelligent Space Concept / L. A. Jeni et al. // 11th Intern. Conf. on Intelligent Engineering Systems. Budapest, Hungary, 2007. P. 149 – 153. DOI: 10.1109/INES.2007.4283689
12. Дубенко Ю. В., Дышкант Е. Е., Гура Д. А. Анализ иерархического обучения с подкреплением для реализации поведенческих стратегий интеллектуальных агентов // Вестник компьютерных и информационных технологий. 2020. Т. 17, № 9. С. 35 – 45. DOI: 10.14489/vkit.2020.09.pp.035-045
13. Jonsson A., Barto A. A Causal Approach to Hierarchical Decomposition of Factored MDPs // Proc. of the 22nd Intern. Conf. on Machine Learning. Bonn, Germany, 2005. P. 401 – 408.
14. Stolle M., Precup D. Learning Options in Reinforcement Learning // Proc. of the 5th Intern. Symposium on Abstraction, Reformulation, and Approximation, SARA. Kananaskis, Alberta, Canada, 2002. P. 212 – 223. DOI: 10.1007/3-540-45622-8_16
15. Dynamic Abstraction in Reinforcement Learning Via Clustering / S. Mannor et al. // Proc. of the 21st Intern. Conf. on Machine Learning. Banff, Canada, 2004. URL: https://icml.cc/Conferences/2004/proceedings/papers/104.pdf (дата обращения: 01.02.2021).
16. Foerster J. N. Deep Multi-Agent Reinforcement Learning [PhD thesis]. University of Oxford. Michaelmas, 2018. 183 p. URL: https://ora.ox.ac.uk/objects/uuid:a55621b3-53c0-4e1b-ad1c-92438b57ffa4 (дата обращения: 01.02.2021).
17. Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction / H. Tang et al. 2019. URL: https://arxiv.org/pdf/1809.09332.pdf (дата обращения: 01.02.2021).
18. Multi-Agent Reinforcement Learning in Sequential Social Dilemmas / J. Z. Leibo et al. 2017. URL: https://arxiv.org/abs/1702.03037 (дата обращения: 01.02.2021).
19. Дубенко Ю. В. Аналитический обзор проблем многоагентного обучения с подкреплением // Вестник компьютерных и информационных технологий. 2020. Т. 17, № 6. С. 48 – 56. DOI: 10.14489/vkit.2020.06.pp.048-056

Eng

1. Simankov V. S. (2002). Automation of system studies. Krasnodar: Izdatel'stvo KubGTU. [in Russian language]
2. Rassel S., Norvig P. (2006). Artificial Intelligence. Modern approach. 2nd ed. Moscow: Vil'yams. [in Russian language]
3. Shen S. (2013). Accurate Multiple View 3D Reconstruction Using Patch-Based Stereo for Large-Scale Scenes. IEEE Transactions on Image Processing (TIP), pp. 1901 – 1914. DOI: 10.1109/TIP.2013.2237921
4. Hu X., Mordohai P. (2012). Least Commitment, Viewpoint-Based, Multi-View Stereo. 2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission, pp. 531 – 538. Zurich.
5. He K. et al. (2018). Mask R-CNN. Computer Vision and Pattern Recognition. Available at: https://arxiv.org/abs/1703.06870 (Accessed: 01.02.2021).
6. Yu Y. et al. (2020). Deformable Siamese Attention Networks for Visual Object Tracking. Computer Vision and Pattern Recognition. Available at: https://arxiv.org/pdf/2004.06711.pdf (Accessed: 01.02.2021).
7. Ayrapetov A. E., Kovalenko A. A. (2019). Types of generative adversarial networks. Dostizheniya nauki i obrazovaniya, 45(4), pp. 7 – 13. [in Russian language]
8. Dubenko Yu. V., Timchenko N. N. System for determining the geometric parameters of three-dimensional objects. Ru Patent No. 2650857. Russian Federation. [in Russian language]
9. Dubenko Yu. V., Filippov M. Yu., Gura D. A., Markovskiy I. G. Information support and decision-making system for image segmentation methods. Certificate of state registration of a computer program No. 2020614774. Russian Federation. [in Russian language]
10. Vagin V. N., Pospelov D. A. (Eds.) et al. (2008). Reliable and plausible conclusion in intelligent systems. Moscow: Fizmatlit. [in Russian language]
11. Jeni L. A. et al. (2007). Hierarchical Reinforcement Learning for Robot Navigation using the Intelligent Space Concept. 11th International Conference on Intelligent Engineering Systems, pp. 149 – 153. Budapest. DOI: 10.1109/INES.2007.4283689
12. Dubenko Yu. V., Dyshkant E. E., Gura D. A. (2020). Analysis of hierarchical learning with reinforcement for the implementation of behavioral strategies of intelligent agents. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, Vol. 17, (9), pp. 35 – 45. [in Russian language] DOI: 10.14489/vkit.2020.09.pp.035-045
13. Jonsson A., Barto A. (2005). A Causal Approach to Hierarchical Decomposition of Factored MDPs. Proceedings of the 22nd International Conference on Machine Learning, pp. 401 – 408. Bonn.
14. Stolle M., Precup D. (2002). Learning Options in Reinforcement Learning. Proceedings of the 5th International Symposium on Abstraction, Reformulation, and Approximation, SARA, pp. 212 – 223. Alberta. DOI: 10.1007/3-540-45622-8_16
15. Mannor S. et al. (2004). Dynamic Abstraction in Reinforcement Learning Via Clustering. Proceedings of the 21st International Conference on Machine Learning. Banff. URL: https://icml.cc/Conferences/2004/proceedings/papers/104.pdf (Accessed: 01.02.2021).
16. Foerster J. N. (2018). Deep Multi-Agent Reinforcement Learning. University of Oxford. Michaelmas. Available at: https://ora.ox.ac.uk/objects/uuid:a55621b3-53c0-4e1b-ad1c-92438b57ffa4 (Accessed: 01.02.2021).
17. Tang H. et al. (2019). Hierarchical Deep Multi-Agent Reinforcement Learning with Temporal Abstraction. Available at: https://arxiv.org/pdf/1809.09332.pdf (Accessed: 01.02.2021).
18. Leibo J. Z. et al. (2017). Multi-Agent Reinforcement Learning in Sequential Social Dilemmas. Available at: https://arxiv.org/abs/1702.03037 (Accessed: 01.02.2021).
19. Dubenko Yu. V. (2020). Analytical review of multi-agent reinforcement learning problems. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, Vol. 17, (6), pp. 48 – 56. [in Russian language] DOI: 10.14489/vkit.2020.06.pp.048-056

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 450 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2021.03.pp.033-046

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 450 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2021.03.pp.033-046

and fill out the form