10.14489/vkit.2019.02.pp.037-046

DOI: 10.14489/vkit.2019.02.pp.037-046

Наумов А. В., Мхитарян Г. А., Черыгова Е. Е.
СТОХАСТИЧЕСКАЯ ПОСТАНОВКА ЗАДАЧИ ФОРМИРОВАНИЯ ТЕСТА ЗАДАННОГО УРОВНЯ СЛОЖНОСТИ С МИНИМИЗАЦИЕЙ КВАНТИЛИ ВРЕМЕНИ ВЫПОЛНЕНИЯ
(с. 37-36)

Аннотация. Рассмотрена задача формирования индивидуальных заданий с минимизацией по времени выполнения в системе дистанционного обучения. В качестве критерия применена свертка двух взвешенных нормированных величин, связанных с отклонением сложности формируемого теста от заданного уровня и квантилью времени выполнения теста. Исходная задача квантильной оптимизации сведена к задаче смешанного математического программирования большой размерности. В качестве модели случайного времени ответа студента на задание использована модель, полученная на основе дискретизации логнормальной модели ван дер Линдена. Предположено, что сложности заданий оцениваются экспертом или при помощи соответствующих алгоритмов, основанных на модели Раша. Приведены результаты численного эксперимента.

Ключевые слова: система дистанционного обучения; статистический анализ; адаптивные системы; квантильная оптимизация; смешанное математическое программирование.

Naumov A. V., Mkhitaryan G. A., Cherygova E. E.
STOCHASTIC STATEMENT OF THE PROBLEM OF GENERATING TESTS WITH DEFINED COMPLEXITY WITH THE MINIMIZATION OF QUANTILE OF TEST PASSING TIME
(pp. 37-46)

Abstract. In this article, we suggest researching the mathematical model of user response time and solving the problem of forming time-limited tests with a total complexity as solution of the one-step quantile optimization problem. As a criterion we used the convolution of two weighted normalized quantities associated with the deviation of the complexity of the test being formed from a given level and the quantile of the test execution time. The initial problem of quantile optimization reduced to the problem of mixed mathematical programming of large dimension. The model obtained on the basis of the discretization of the lognormal model of van der Linden was used as a model of the random time of the student’s response to the task. It is assumed that the complexity of tasks is evaluated by an expert or by using appropriate algorithms based on the Rush model. As part of the simplification of the model, it is proposed to consider the solution of the problem for one user, which is also relevant. This will significantly reduce the dimension of the problem due to fewer restrictions.As a result of the solution of the problem with the values of the continuous distribution parameters, the complexity of each problem and the tests as a whole given in the article, 35 sets of test tasks were obtained for ε = 0.004 complexity deviation. In addition, the results of the numerical experiment confirm the adequacy of the proposed model. As a result, a flexible and convenient tool was developed that will allow creating sets of test tasks taking into account the testing purposes.

Keywords: Distance learning system; Statistical analysis; Adaptive systems; Quantile optimization; Mixed mathematical programming.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

А. В. Наумов, Г. А. Мхитарян, Е. Е. Черыгова (Московский авиационный институт (национальный исследовательский университет), Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

A. V. Naumov, G. A. Mkhitaryan, E. E. Cherygova (Moscow Aviation Institute (National Research University), Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Наумов А. В., Джумурат А. С., Иноземцев А. О. Система дистанционного обучения математическим дисциплинам CLASS.NET // Вестник компьютерных и информационных технологий. 2014. № 10. С. 36 – 44. doi: 10.14489/vkit.2014.2010.pp.036-044.
2. Универсариум – открытая система электронного образования [Электронный ресурс] // Универсариум. URL: http://universarium.org/ (дата обращения: 14.01.2019).
3. Moodle – cистема управления курсами [Электронный ресурс] // Moodle. URL: http://moodle.org (дата обращения: 14.01.2019).
4. Кибзун А. И., Иноземцев А. О. Оценивание уровней сложности тестов на основе метода максимального правдоподобия // Автоматика и телемеханика. 2014. № 4. С. 20 – 37.
5. Кибзун А. И., Панарин С. И. Формирование интегрального рейтинга с помощью статистической обработки результатов тестов // Автоматика и телемеханика. 2012. № 6. С. 119 – 139.
6. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests [The University of Chicago Press], 1980. 244 с.
7. Наумов А. В., Мхитарян Г. А. О задаче роятностной оптимизации для ограниченного по времени тестирования // Автоматика и телемеханика. 2016. № 9. С. 124 – 135.8. Using ResponseTime Constraints to Control for Differential Speededness in Computerized Adaptive Testing / W. J. Van der Linden et al. // Applied Psychological Measurement. 1999. V. 23, No. 3. P. 195 – 210.
9. Наумов А. В., Иноземцев А. О. Алгоритм формирования индивидуальных заданий в системах дистанционного обучения // Вестник компьютерных и информационных технологий. 2013. № 6. С. 46 – 51.
10. Кан Ю. С., Кибзун А. И. Задачи стохастического программирования с вероятностными критериями. М.: ФИЗМАТЛИТ, 2009. 372 с.
11. Наумов А. В., Иванов С. В. Исследование задачи стохастического линейного программирования с квантильным критерием // Автоматика и телемеханика. 2011. № 2. С. 142 – 158.
12. Кибзун А. И., Наумов А. В., Норкин В. И. О сведении задачи квантильной оптимизации с дискретным распределением к задаче смешанного целочисленного программирования // Автоматика и телемеханика. 2013. № 6. С. 66 – 86.

Eng

1. Naumov A. V., Dzhumurat A. S., Inozemtsev A. O. (2014). Distance learning system for mathematical disciplines CLASS.NET. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, (10), pp. 36-44. doi: 10.14489/vkit.2014.010.pp.036-044 [in Russian language]
2. Universarium - an open electronic education system. Universarium. Available at: http://universarium.org/ (Accessed: 14.01.2019). [in Russian language]
3. Moodle - course management system. Moodle. Available at: http://moodle.org (Accessed: 14.01.2019). [in Russian language]
4. Kibzun A. I., Inozemtsev A. O. (2014). tion of the levels of complexity of tests based on the maximum likelihood method. Avtomatika i telemekhanika, (4), pp. 20-37. [in Russian language]
5. Kibzun A. I., Panarin S. I. (2012). Formation of the integral rating by means of statistical processing of test results. Avtomatika i telemekhanika, (6), pp. 119-139. [in Russian language]
6. Rasch G. (1980). Probabilistic Models for Some Intelligence and Attainment Tests.
7. Naumov A. V., Mhitaryan G. A. (2016). On probabilistic optimization problem for timelimited testing. Avtomatika i telemekhanika, (9), pp. 124-135. [in Russian language]
8. Van der Linden W. J. et al. (1999). Using Response-Time Constraints to Control for Differential Speededness in Computerized Adaptive Testing. Applied Psychological Measurement, 23(3), pp. 195-210.
9. Naumov A. V., Inozemtsev A. O. (2013). Algorithm of formation of individual tasks in distance learning systems. Vestnik komp'yuternyh i informatsionnyh tekhnologiy, (6), pp. 46-51. [in Russian language]
10. Kan Yu. S., Kibzun A. I. (2009). Tasks of stochastic programming with probabilistic criteria. Moscow: FIZMATLIT. [in Russian language]
11. Naumov A. V., Ivanov S. V. (2011). The study of the problem of stochastic linear programming with quantile criterion. Avtomatika i telemekhanika, (2), pp. 142-158. [in Russian language]
12. Kibzun A. I., Naumov A. V., Norkin V. I. (2013). On the reduction of the problem of quantile optimization with discrete distribution to the problem of mixed integer programming. Avtomatika i telemekhanika, (6), pp. 66-86. [in Russian language]

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа скопируйте doi статьи:

10.14489/vkit.2019.02.pp.037-046

и заполните форму

Отправляя форму вы даете согласие на обработку персональных данных.

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please copy the article doi:

10.14489/vkit.2019.02.pp.037-046

and fill out the form