|
DOI: 10.14489/vkit.2018.02.pp.010-017
Феоктистов А. Г., Костромин Р. О., Дядькин Ю. А.
УПРАВЛЕНИЕ ЗАДАНИЯМИ НА ОСНОВЕ ЗНАНИЙ В ГЕТЕРОГЕННОЙ РАСПРЕДЕЛЕННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЕ
(с. 10-17)
Аннотация. Представлена новая система агентов для управления вычислениями на уровне среды. В отличие от известных систем она основана на использовании модели, включающей знания как о самой среде, так и предметных областях решаемых задач. Данные знания извлекаются посредством комплексного применения методов и средств концептуального моделирования, классификации заданий и параметрической настройки алгоритмов работы агентов распределения ресурсов. Эксперименты подтверждают практическую значимость предложенного подхода к управлению вычислениями.
Ключевые слова: распределенные вычисления; мультиагентное управление; самоорганизация; извлечение знаний; имитационное моделирование.
Feoktistov A. G., Kostromin R. O., Dyadkin Yu. A.
KNOWLEDGE BASED MANAGEMENT OF JOBS IN HETEROGENEOUS DISTRIBUTED COMPUTING ENVIRONMENT
(pp. 10-17)
Abstract. Ensuring effective management of applications for solving large problems in a heterogeneous distributed computing environment is the non-trivial problem. User applications compete with each other for shared resources of the environment. Their jobs contain different criteria of a problem solving quality. Preferences of resource owners are to optimize their use and often are not consistent with user criteria. The relevant approach to their harmonization is to use multi-agent technologies in combination with elements of economic theory. In this paper, we present a new system of agents for application management at the environment level. In contrast to the known systems, our system is based on applying a special conceptual model of the environment that includes knowledge about both the environment itself and the subject domains of the problems being solved. This knowledge is elicited through integrated use of methods and tools of conceptual modeling, job classification and parameter adjustment of agent functioning algorithms for a resource allocation. The multi-agent system has a hierarchical structure, which can include two or more functional levels, and operate based on self-organization. At each level, agents play a variety of roles, and perform different functions. The roles may be permanent or temporal. Their changes occur at discrete times when agents need to solve new problems. Each level is related with the conceptual model knowledge layers. Experiments confirm the practical significance of the proposed approach to the computations management.
Keywords: Distributed computing; Multi-agent management; Self-organization; Knowledge elicitation; Simulation modeling.
А. Г. Феоктистов, Р. О. Костромин, Ю. А. Дядькин (Институт динамики систем и теории управления им. В. М. Матросова Сибирского отделения РАН, Иркутск, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
A. G. Feoktistov, R. O. Kostromin, Yu. A. Dyadkin (Matrosov Institute for System Dynamics and Control Theory of Siberian Branch of Russian Academy of Sciences, Irkutsk, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. Топорков В. В., Емельянов Д. М., Потехин П. А. Формирование и планирование пакетов заданий в распределенных вычислительных средах // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2015. Т. 4, № 2. С. 44 – 57.
2. GridWay [Электронный ресурс]. URL: https://www.gridway.org (дата обращения: 05.09.2017).
3. Global Leader in HPC Workload Management – PBS Works [Электронный ресурс]. URL: http://www. pbsworks.com/ (дата обращения: 05.09.2017).
4. HTCondor [Электронный ресурс]. URL: http://research.cs.wisc.edu/htcondor (дата обращения: 05.09.2017).
5. Система управления прохождением параллельных заданий СУППЗ [Электронный ресурс]. URL: http://suppz.jscc.ru (дата обращения: 05.09.2017).
6. Система управления заданиями Cleo [Электронный ресурс]. URL: http://parcon.parallel.ru/cleo. html (дата обращения: 05.09.2017).
7. Globus Toolkit [Электронный ресурс]. URL: http://toolkit.globus.org/toolkit/ (дата обращения: 05.09.2017).
8. Grid Computing Laboratory Home Page: AppLeS Group [Электронный ресурс]. URL: http://cseweb.usd.edu/groups/gcl (дата обращения: 05.09.2017).
9. Nimrod: A Tool for Performing Parameterized Simulations Using Distributed Workstations / D. Abramson et al. // Proc. of the 4th IEEE Symp. on High Performance Distributed Computing. IEEE, 1995. P. 112 – 121.
10. Examining the Challenges of Scientific Workflows / Y. Gil, E. Deelman, M. Ellisman et al. // IEEE Computer. 2008. V. 40, No. 12. P. 24 – 32.
11. Talia D. Workflow Systems for Science: Concepts and Tools // ISRN Software Engineering. 2013. V. 2013. Article ID 404525. 15 p.
12. Negotiation Mechanism for Self-Organized Scheduling System with Collective Intelligence / A. Madureira et al. // Neurocomputing. 2014. V. 132. P. 97 – 110.
13. A Note on New Trends in Data-Aware Scheduling and Resource Provisioning in Modern HPC Systems / J. Tao et al. // Future Generation Computer Systems. 2015. V. 51, No. C. P. 45 – 46.
14. Каляев А. И., Каляев И. А., Коровин Я. С. Метод мультиагентного диспетчирования ресурсов в гетерогенной облачной среде при выполнении потока задач // Вестник компьютерных и информационных технологий. 2015. № 11. С. 31 – 40.
15. Toporkov V. V., Yemelyanov D. M. Economic Model of Scheduling and Fair Resource Sharing in Distributed Computations // Programming and Computer Software. 2014. V. 40, No. 1. P. 35 – 42.
16. Мультиагентный алгоритм распределения вычислительных ресурсов на основе экономического механизма регулирования их спроса и предложения / И. В. Бычков и др. // Вестник компьютерных и информационных технологий. 2014. № 1. С. 39 – 45.
17. Vickrey W. Counterspeculation, Auctions, and Competitive Sealed Tenders // Journal of Finance. 1961. V. 16, No. 1. P. 8 – 37.
18. Multiagent Control of Computational Systems on the Basis of Meta-Monitoring and Imitational Simulation / I. V. Bychkov et al. // Optoelectronics, Instrumentation and Data Processing. 2016. V. 52, No. 2. P. 107 – 112.
19. Cooke N. J. Varieties of Knowledge Elicitation Techniques // Intern. Journal of Human-Computer Studies. 1994. V. 41, No. 6. P. 801 – 849.
20. Conceptual Model of Problem-Oriented Heter-ogeneous Distributed Computing Environment with Multi-Agent Management / I. Bychkov et al. // Procedia Computer Science. 2017. V. 103. P. 162 – 167.
21. Дядькин Ю. А., Фереферов Е. С. Инструментальный комплекс имитационного моделирования разнородной распределенной вычислительной среды // Вычислительные технологии. 2016. Т. 21, № 3. С. 18 – 32.
22. Боев В. Д. Моделирование систем. Инструментальные средства GPSS World. СПб.: БХВ-Петербург, 2004. 368 с.
23. ЦКП Иркутский суперкомпьютерный центр СО РАН [Электронный ресурс]. URL: http://hpc.icc.ru/ (дата обращения: 05.09.2017).
1. Toporkov V. V., Emel'ianov D. M., Potekhin P. A. (2015). Forming and scheduling the tasks in distributed computing environments. Vestnik Iuzhno-Ural'skogo gosudarstvennogo universiteta. Seriia: Vychislitel'naia matematika i informatika, 4(2), pp. 44-57. [in Russian language]
2. GridWay. Available at: https://www.gridway. org (Accessed: 05.09.2017).
3. Global leader in HPC workload management – PBS works. Available at: http://www. pbsworks.com/ (Accessed: 05.09.2017).
4. HTCondor. Available at: http://research.cs.wisc. edu/htcondor (Accessed: 05.09.2017).
5. Control system for the passage of parallel jobs SUPPZ. Available at: http://suppz.jscc.ru (Accessed: 05.09.2017).
6. Tasks control system Cleo. Available at: http://parcon.parallel.ru/cleo. html (Accessed: 05.09.2017).
7. Globus toolkit. Available at: http://toolkit. globus.org/toolkit/ (Accessed: 05.09.2017).
8. Grid computing laboratory home page: AppLeS group. Available at: http://cseweb.ucsd.edu/groups/gcl (Accessed: 05.09.2017).
9. Abramson D. et al. (1995). Nimrod: a tool for performing parameterized simulations using distributed workstations. Proc. of the 4th IEEE Symp. on High Performance Distributed Computing. IEEE, (pp. 112-121).
10. Gil Y., Deelman E., Ellisman M. et al. (2008). Examining the challenges of scientific workflows. IEEE Computer, 40(12), pp. 24-32.
11. Talia D. (2013). Workflow systems for science: concepts and tools. ISRN Software Engineering, 2013. Article ID 404525.
12. Madureira A. et al. (2014). Negotiation mechanism for self-organized scheduling system with collective intelligence. Neurocomputing, 132, pp. 97-110.
13. Tao J. et al. (2015). A note on new trends in data-aware scheduling and resource provisioning in modern HPC systems. Future Generation Computer Systems, 51(C), pp. 45-46.
14. Kaliaev A. I., Kaliaev I. A., Korovin Ia. S. (2015). Method of multiagent dispatching resources in heterogeneous cloud environments while performing flow of incoming tasks. Vestnik komp'iuternykh i informatsionnykh tekhnologii, (11), pp. 31-40. doi: 10.14489/vkit.2015.11.pp.031-040 [in Russian language]
15. Toporkov V. V., Yemelyanov D. M. (2014). Economic model of scheduling and fair resource sharing in distributed computations. Programming and Computer Software, 40(1), pp. 35-42.
16. Bychkov I. V., Oparin G. A., Feoktistov A. G., Kanter A. N. (2014). Multiagent algorithm for resources allocation based on the economic mechanism of regulating their supply and demand. Vestnik komp'iuternykh i informatsionnykh tekhnologii, (1), pp. 39-45. [in Russian language]
17. Vickrey W. (1961). Counterspeculation, Auctions, and competitive sealed tenders. Journal of Finance, 16(1), pp. 8-37.
18. Bychkov I. V. et al. (2016). Multiagent control of computational systems on the basis of metamonitoring and imitational simulation. Optoelectronics, Instrumentation and Data Processing, 52(2), pp. 107-112.
19. Cooke N. J. (1994). Varieties of knowledge elicitation techniques. Intern. Journal of Human-Computer Studies, 41(6), pp. 801-849.
20. Bychkov I. V. et al. (2017). Conceptual model of problem-oriented heterogeneous distributed computing environment with multi-agent management. Procedia Computer Science, 103, pp. 162-167.
21. Diad'kin Iu. A., Fereferov E. S. (2016). Instrumental complex of simulation heterogeneous distributed computing environment. Vychislitel'nye tekhnologii, 21(3), pp. 18 – 32. [in Russian language]
22. Boev V. D. (2004). Modeling the systems. GPSS World tools. St. Petersburg: BKHV-Peterburg. [in Russian language]
23. CCU Irkutsk Supercomputer Center of the SB RAS. Available at: http://hpc.icc.ru/ (Accessed: 05.09.2017).
Статью можно приобрести в электронном виде (PDF формат).
Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.
После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.
Для заказа скопируйте doi статьи:
10.14489/vkit.2018.02.pp.010-017
и заполните форму
Отправляя форму вы даете согласие на обработку персональных данных.
.
This article is available in electronic format (PDF).
The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.
After depositing your payment on our bank account we send you file of the article by e-mail.
To order articles please copy the article doi:
10.14489/vkit.2018.02.pp.010-017
and fill out the form
.
|
Archive
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»