10.14489/vkit.2016.02.pp.034-039

DOI: 10.14489/vkit.2016.02.pp.034-039

Ефимов А. В., Мамойленко С. Н., Перышкова Е. Н.
МОДЕРНИЗАЦИЯ СИСТЕМЫ УПРАВЛЕНИЯ РЕСУРСАМИ PBS TORQUE И ПЛАНИРОВЩИКА MAUI ДЛЯ ОБСЛУЖИВАНИЯ МАСШТАБИРУЕМЫХ ЗАДАЧ
(c. 34-39)

Аннотация. Рассмотрена проблема обслуживания масштабируемых задач на распределенных вычислительных системах. Приведен обзор работ, посвященных разработке и моделированию алгоритмов для таких задач. Предложен способ описания паспорта масштабируемой задачи. Разработаны и реализованы в программном обеспечении несколько политик планирования на основе эвристики. Исследованы показатели процесса планирования при решении наборов, содержащих масштабируемые и обычные задачи.

Ключевые слова: вычислительные системы; управление ресурсами; масштабируемые задачи.

Efimov A. V., Mamojlenko S. N., Peryshkova E. N.
MODERNIZATION OF RESOURCE MANAGER PBS TORQUE AND MAUI SCHEDULER FOR MOLDABLE JOB SERVICING
(pp. 34-39)

Abstract. This study contains a review of the moldable jobs scheduling problem on distributed high-performance computing systems. The purpose of our research is to study the possibility of increasing the efficiency of operation of distributed computing systems by optimizing the moldable jobs scheduling process. The article gives an overview of the work on the development and modeling algorithms for such problems. However, we focus on the practical implementation of existing open source resource management computer systems. The majority of our attention is on the development and implementation of algorithms in existing open source resource manager. The paper further proposes a method for writing moldable jobs scripts. We also developed multiple scheduling policies based on heuristics that we integrated into the resource manager PBS Torque and the MAUI scheduler. The systems we studied during development contained sets with both moldable and rigid jobs. We generated the parameters of moldable jobs with a model based on real download statistics of computing systems. The results of the study presents histograms of the total time of solving different sets of jobs and queue waiting time.

Keywords: High-performance computing system; Resource management; Moldable jobs.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

А. В. Ефимов, С. Н. Мамойленко, Е. Н. Перышкова (Сибирский государственный университет телекоммуникаций и информатики, Новосибирск) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

A. V. Efimov, S. N. Mamojlenko, E. N. Peryshkova (Sibirian State University of Telecommunications and Information Sciences, Novosibirsk) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Хорошевский В. Г. Распределенные вычислительные системы с программируемой структурой // Вестник СибГУТИ. 2010. № 2. С. 3 – 41.
2. Top500 Supercomputing Sites [Элекстронный ресурс]. URL: http://www.top500.org/lists/2015/06/ (дата обращения: 12.10.2015).
3. Torque Resource Manager [Электронный ресурс]. URL:http://www.adaptivecomputing.com/products/opensource/torque (дата обращения: 12.10.2015).
4. Feitelson D. G., Rudolph L. Toward Convergence in Job Schedulers for Parallel Supercomputers // 2nd Intern. Workshop Job Scheduling Strategies for Parallel Processing, IPPS '96. 16 April 1996. Honolulu, Hawaii, USA. 1996. V. 1162. P. 1 – 26.
5. Cirne W., Berman F. A Model for Moldable Supercomputer Jobs // Proc. 15th Intern. Parallel and Distributed Processing Symposium (IPDPS 2001). 23 – 27 April 2001. San Francisco, California, USA. 2001. P. 59 – 79.
6. Гери М., Джонсон Д. Вычислительные машины и труднорешаемые задачи: пер. с англ. М.: Мир, 1982. 416 с.
7. Теория расписаний и вычислительные машины / под ред. Э. Г. Коффмана. М.: Наука, 1984. 336 с.
8. Sabin G., Lang M., Sadayappan P. Moldable Parallel Job Scheduling Using Job efficiency: an Iterative Approach // 12th Intern. Workshop Job Scheduling Strategies for Parallel Processing (JSSPP 2006). 26 June 2006. Saint-Malo, France. 2006. P. 94 – 114.
9. Minimizing Busy Time in Multiple Machine Real-time Scheduling / R. Khandekar et al. // Intern. Conference on Foundations of Software Technology and Theoretical Computer Science (FSTTCS 2010). 15 – 18 December 2010. Chennai, India. 2010. P. 169 – 180.
10. Huang K-C., Hsieh W., Hung C-H. Online Scheduling of Moldable Jobs with Deadline // International Journal of Electronics and Information Engineering. V. 2, N. 2. P. 73 – 77.
11. Grudenic I. Scheduling Algorithms and Support Tools for Parallel Systems [Электронный ресурс]. URL: https://www.fer.unizg.hr/_download/repository/Grudenickvalifikacijski.pdf (дата обращения: 12.10.2015).
12. Utrera G., Corbalán J., Labarta J. Another Approach to Backfilled Jobs: Applying Virtual Malleability to Expired Windows // Proc. of the 19th Intern. Conference on Supercomputing (ICS '05). 18 – 21 June 2005. Cambridge, Massachusetts, USA. 2005. P. 313 – 322.
13. Maximizing Throughput of Overprovisioned hpc Data Centers under a Strict Power Budget / O. Sarood et al. // Proc. of the Intern. Conference for High Performance Computing, Networking, Storage and Analysis (CS '14). 16-21 November 2014. New Orleans, Louisiana, USA. 2014. P. 807 – 818.
14. Ресурсы центра параллельных вычислительных технологий СибГУТИ [Электронный ресурс]. URL: http://cpct.sibsutis.ru/index.php/Main/Resources (дата обращения: 12.10.2015).

Eng

1. Khoroshevskii V. G. (2010). Distributed computing systems with programmable structure. Vestnik SibGUTI, (2), pp. 3-41.
2. Top500 supercomputing sites. Available at: http://www.top500.org/lists/2015/06/ (Accessed: 12.10.2015).
3. Torque resource manager. Available at: http://www.adaptivecomputing.com/products/opensource/torque (Accessed: 12.10.2015).
4. Feitelson D. G., Rudolph L. (1996). Toward convergence in job schedulers for parallel supercomputers. 2nd Intern. Workshop Job Scheduling Strategies for Parallel Processing, IPPS '96. 16 April 1996. Honolulu, Hawaii, USA, 1162, pp. 1-26.
5. Cirne W., Berman F. (2001). A model for moldable supercomputer jobs. Proc. 15th Intern. Parallel and Distributed Processing Symposium (IPDPS 2001). 23-27 April 2001. San Francisco, California, USA, pp. 59-79.
6. Geri M., Johnson D. (1982). Computers and intractability. Moscow: Mir.
7. Koffman E. G. (Ed.). (1984). Scheduling theory and computers. Moscow: Nauka.
8. Sabin G., Lang M., Sadayappan P. (2006). Moldable parallel job scheduling using job efficiency: an iterative approach. 12th Intern. Workshop Job Scheduling Strategies for Parallel Processing (JSSPP 2006). 26 June 2006. Saint-Malo, France, pp. 94-114.
9. Khandekar R. et al. (2010). Minimizing busy time in multiple machine real-time scheduling. Intern. Conference on Foundations of Software Technology and Theoretical Computer Science (FSTTCS 2010). 15-18 December 2010. Chennai, India, pp. 169-180.
10. Huang K-C., Hsieh W., Hung C-H. (2015). Online scheduling of moldable jobs with deadline. International Journal of Electronics and Information Engineering, 2(2), pp. 73-77.
11. Grudenic I. Scheduling algorithms and support tools for parallel systems. Available at: https://www.fer. unizg.hr/_download/repository/Grudenickvalifikacijski.pdf (Accessed: 12.10.2015).
12. Utrera G., Corbalán J., Labarta J. (2005). Another approach to backfilled jobs: applying virtual malleability to expired windows. Proc. of the 19th Intern. Conference on Supercomputing (ICS '05). 18-21 June 2005. Cambridge, Massachusetts, USA, pp. 313-322.
13. Sarood O. et al. (2014). Maximizing throughput of overprovisioned hpc data centers under a strict power budget. Proc. of the Intern. Conference for High Performance Computing, Networking, Storage and Analysis (CS '14). 16-21 November 2014. New Orleans, Louisiana, USA, pp. 807-818.
14. Resources centre of parallel computing technologies of the Siberian State University of Telecommunications and Informatics (SibGUTI). Available at: http://cpct.sibsutis.ru/index.php/Main/Resources (Accessed: 12.10.2015).

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа статьи заполните форму:

{jform=1,doi=10.14489/vkit.2016.02.pp.034-039}

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please fill out the form below:

{jform=2,doi=10.14489/vkit.2016.02.pp.034-039}