10.14489/vkit.2017.11.pp.044-052

DOI: 10.14489/vkit.2017.11.pp.044-052

Ахмед В. М. А., Гаевой С. В., Фоменков С. А.
ВЛИЯНИЕ НЕСТАЦИОНАРНОСТИ ВХОДНОГО ПОТОКА ЗАДАНИЙ НА ОБСЛУЖИВАНИЕ В КЛАСТЕРНОЙ СИСТЕМЕ
(c. 44-52)

Аннотация. Рассмотрен один из важных способов анализа нагрузки вычислительных кластеров (ВК) – симуляция их работы с использованием модели входящей нагрузки (МВН). Продемонстрирована необходимость учета нестационарности входящего потока заданий при получении МВН. Использованы два типа МВН: стационарные и нестационарные. Приведены оценки их качества, полученные путем имитационного моделирования аппроксимированной нагрузки и сравнением результатов вычислительных экспериментов с оригинальной (фактической) нагрузкой, взятой из системного журнала ВК. Выполнено сравнение аппроксимаций суточной и недельной интенсивности входящих заданий. Предложено несколько вариантов аппроксимации интенсивности входящих заданий.

Ключевые слова: вычислительный кластер; интенсивность потока; нагрузка вычислительной системы; немасштабируемая задача; нестационарный поток событий; имитационное моделирование; стохастическая аппроксимация.

Ahmed W. M. A., Gaevoy S. V., Fomenkov S. A.
INCOMING JOB STREAMS NONSTATIONARY NATURE INFLUENCE STREAMS ON THE SERVICE IN A CLUSTER SYSTEM
(pp. 44-52)

Abstract. Computing clusters are one of the computing systems. They are used to execute incoming jobs. An important method to analyze parallel workloads is modeling execution of those systems by using Parallel Workload Models (PWM). Many papers assume the input stream to be stationary. In this paper it is proposed to consider nonstationary nature of incoming job streams during the synthesis of PWMs and the necessity to make allowance for this nonstationary nature of this stream is proved. There are two PWM’s considered: the stationary model and the nonstationary model. These models are compared to show the difference at PWM approximating. It is demonstrated the nonstationary model provides more accurate approхimations. We use the simulation of this approximation and compare the results with the original workload (from the log) in this paper. The simulation model is described in our previous papers and is here only used. We have proposed two different hazard function types: daily and weekly hazard function. Advantages of weekly hazard function are shown. A few hazard function approximations are proposed. We use polynomial approximations to get the hazard function but they are shown to be superfluous.

Keywords: Computing cluster; Hazard function; Parallel workload; Rigid job; Nonstationary event stream; Simulation; Stochastic approximation.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

В. М. А. Ахмед, С. В. Гаевой, С. А. Фоменков (Волгоградский государственный технический университет, Волгоград, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

W. M. A. Ahmed, S. V. Gaevoy, S. A. Fomenkov (Volgograd State Technical University, Volgograd, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Эвристики распределения задач для брокера ресурсов Grid / А. И. Аветисян и др. [Электронный ресурс]. Citforum – библиотека online [Сайт]. 2013. URL: http://www.citforum.ru/nets/digest/grid/index.shtml (дата обращения: 20.02.2016 г.).
2. GridMe: Grid Modeling Environment [Электронный ресурс]. Google code [Сайт]. 2014. URL: https://code.google.com/p/gridme/ (дата обращения: 03.10.2016 г.).
3. Гаевой С. В., Аль-Хадша Ф. А. Х., Лукьянов В. С. Детерминированная имитационная модель кластеров гридсистемы, обслуживающих задания // Вестник компьютерных и информационных технологий. 2014. № 6. C. 39 – 43. doi: 10.14489/vkit.2014.06. pp.039-043
4. Гаевой С. В., Аль-Хадша Ф. А. Х. Моделирование работы вычислительного кластера на примере LANL CM5 [Электронный ресурс] // SCI-ARTICLE.RU: электронный периодический научный журнал [Сайт]. 2013. № 3. C. 304 – 313. URL: http://sci-article.ru/stat. php?i=modelirovanie_rabotY_vYchislitelnogo_klastera_na_ primere_LANL_CM5 (дата обращения: 03.10.2016 г.).
5. Детерминированная имитационная модель кластеров гридсистемы для сравнения эффективности использования эвристик распределения заданий / С. В. Гаевой и др. // Прикаспийский журнал: управление и высокие технологии. 2014. № 2. C. 148 – 157.
6. Logs of Real Parallel Workloads from Production Systems [Электронный ресурс]. The Rachel and Selim Benin School of Computer Science and Engineering [Сайт]. 2013. URL: http://www.cs.huji.ac.il/labs/ parallel/workload/logs.html (дата обращения: 03.10.2016 г.).
7. The Feitelson 1996 Model [Электронный ресурс]. The Rachel and Selim Benin School of Computer Science and Engineering [Сайт]. 2013. URL: http://www. cs.huji.ac.il/labs/parallel/workload/m_feitelson96/ (дата обращения: 03.10.2016 г.).
8. The Jann et al 1997 Model [Электронный ресурс]. The Rachel and Selim Benin School of Computer Science and Engineering [Сайт]. 2013. URL: http://www.cs.huji.ac.il/labs/parallel/workload/m_jann97/ (дата обращения: 03.10.2016 г.).
9. Modeling of Workload in MPPs / J. Jann et al. // Job Scheduling Strategies for Parallel Processing: Lect. Notes Comput. Sci. / ed. by D. G. Feitelson, L. Rudolph. Springer-Verlag, 1997. V. 1291. P. 95 – 116.
10. Lublin U., Feitelson D. G . The Workload on Parallel Supercomputers: Modeling the Characteristics of Rigid Jobs [Электронный ресурс]. The Rachel and Selim Benin School of Computer Science and Engineering [Сайт]. 2016. URL: http://www.cs.huji.ac.il/~feit/papers/ Rigid01TR.pdf (дата обращения: 03.10.2016 г.).
11. Lublin U., Feitelson D. G. The Workload on Parallel Supercomputers: Modeling the Characteristics of Rigid Jobs // J. Parallel & Distributed Comput. 2003. № 63(11). P. 1105 – 1122.
12. Calzarossa M., Serazzi G. A Characterization of the Variation in Time of Workload Arrival Patterns // IEEE Trans. Comput. 1985. V. C-34, № 2. P. 156 – 162.
13. The Calzarossa & Serrazi 1985 Model [Электронный ресурс]. The Rachel and Selim Benin School of Computer Science and Engineering [Сайт]. 2016. URL: http://www.cs.huji.ac.il/labs/parallel/workload/m_calzarossa85/ (дата обращения: 03.10.2016 г.).
14. Сокращение времени аппроксимации логов вычислительного кластера с использованием методов моментов на гиперэкспоненциальном распределении / С. В. Гаевой и др. // Прикаспийский журнал: управление и высокие технологии. 2017. № 1. C. 94 – 105.
15. HPC @ Uni.lu [Электронный ресурс]. 2017. URL: https://hpc.uni.lu/systems/gaia/ (дата обращения: 03.10.2016 г.).
16. Class BigDecimal [Электронный ресурс]. // Oracle Help Center [Сайт]. [2016]. URL: https://docs. oracle.com/javase/8/docs/api/java/math/BigDecimal.html (дата обращения: 03.10.2016 г.).
17. Гаевой С. В., Аль-Хадша Ф. А. Х., Фоменков С. А. Аппроксимация времени выполнения заданий на примере вычислительного кластера LPC EGEE 2004 // Изв. Волгоград. гос. техн. ун-та. Сер. «Актуальные проблемы управления, вычислительной техники и информатики в технических системах». Вып. 21: межвуз. сб. науч. ст. Волгоград, 2014. № 12(139). C. 135 – 141.

Eng

1. Avetisian A. I. et al. (2013). Heuristics of task distribution for the resource of Grid broker. Citforum – online library. Available at:http://www.citforum. ru/nets/digest/grid/index.shtml (Accessed: 20.02.2016 г.).
2. GridMe: Grid Modeling Environment. (2014). Google code. Available at: https://code.google. com/p/gridme/ (Accessed: 03.10.2016).
3. Gaevoy S. V., AL-hadsha F. A. H., Lukyanov V. S. (2014). Deterministic simulation model of clusters of a grid-system executing jobs. Vestnik komp'iuternykh i informatsionnykh tekhnologii, (6), pp. 39-43. doi: 10.14489/ vkit.2014.06. pp.039-043 [in Russian language]
4. Gaevoy S. V., AL-hadsha F. A. H. (2013). Modeling the operation of a computational cluster using LANL CM5 as an example. SCI-ARTICLE.RU, (3), pp. 304-313. Available at: http://sciarticle.ru/stat. php?i=modelirovanie_rabotY_vYchislitelnogo_klastera_na_ primere_LANL_CM5 (Accessed: 03.10.2016). [in Russian language]
5. Gaevoy S. V. et al. (2014). Deterministic simulation model of the grid system clusters for comparing the efficiency of job distribution heuristics. Prikaspiiskii zhurnal: upravlenie i vysokie tekhnologii, (2), pp. 148- 157. [in Russian language]
6. Logs of real parallel workloads from production systems. (2013). The Rachel and Selim Benin School of Computer Science and Engi¬neering. Available at: http://www.cs.huji.ac.il/labs/ parallel/workload/logs.html (Accessed: 03.10.2016).
7. The Feitelson 1996 model. (2013). The Rachel and Selim Benin School of Computer Science and Engineering. Available at: http://www. cs.huji.ac.il/labs/ parallel/workload/m_feitelson96/ (Accessed: 03.10.2016 г.).
8. The Jann et al 1997 model. (2013). The Rachel and Selim Benin School of Computer Science and Engineering. Available at: http://www.cs.huji.ac.il/ labs/parallel/workload/m_jann97/ (Accessed: 03.10.2016).
9. Feitelson D. G., Rudolph. L. (Eds.), Jann J. et al. (1997). Modeling of workload in MPPs. Job Scheduling Strategies for Parallel Processing: Lect. Notes Comput. Sci., 1291, pp. 95-116.
10. Lublin U., Feitelson D. G . (2016). The workload on parallel supercomputers: modeling the characteristics of rigid jobs. The Rachel and Selim Benin School of Computer Science and Engineering. Available at: http://www.cs.huji.ac.il/~feit/papers/ Rigid01TR.pdf (Accessed: 03.10.2016).
11. Lublin U., Feitelson D. G. (2003). The workload on parallel supercomputers: modeling the characteristics of rigid jobs. J. Parallel & Distributed Comput., 63(11), pp. 1105-1122.
12. Calzarossa M., Serazzi G. (1985). A characterization of the variation in time of workload arrival patterns. IEEE Trans. Comput., C-34(2), pp. 156-162.
13. The Calzarossa & Serrazi 1985 Model. (2016). The Rachel and Selim Benin School of Computer Science and Engineering. Available at: http://www.cs.huji.ac.il/ labs/parallel/workload/m_calzarossa85/ (Accessed: 03.10.2016).
14. Gaevoy S. V. et al. (2017). Reduction of the log approximation time of the computational cluster using the methods of moments on the hyperexponential distribution. Prikaspiiskii zhurnal: upravlenie i vysokie tekhnologii, (1), pp. 94-105. [in Russian language]
15. HPC @ Uni.lu. (2017). Available at: https://hpc.uni.lu/systems/gaia/ (Accessed: 03.10.2016).
16. Class BigDecimal. (2016). Oracle Help Center. Available at: https://docs. oracle.com/javase/8/docs/ api/java/math/BigDecimal.html (Accessed: 03.10.2016).
17. Gaevoi S. V., Al'-Khadsha F. A. Kh., Fomenkov S. A. (2014). Approximation of task execution time using the LPC EGEE 2004 computational cluster example. Izvestiia Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia «Aktual'nye problemy upravleniia, vychislitel'noi tekhniki i informatiki v tekhnicheskikh sistemakh». Vol. 21: interuniversity collection of scientific papers, 139(12), pp. 135-141. [in Russian language]

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2017.11.pp.044-052

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

14489/vkit.2017.11.pp.044-052

and fill out the form