10.14489/vkit.2016.06.pp.050-056

DOI: 10.14489/vkit.2016.06.pp.050-056

Бессарабов Н. А., Бондаренко А. В., Кондратенко Т. Н., Тимофеев Д. С.
АВТОМАТИЗИРОВАННАЯ СИСТЕМА УПРАВЛЕНИЯ ПРОЦЕССОМ ТЕСТИРОВАНИЯ ЗНАНИЙ. НАКОПЛЕНИЕ ИНФОРМАЦИИ В ПРОЦЕССЕ ЭКСПЛУАТАЦИИ
(c. 50-56)

Аннотация. Рассмотрена задача создания автоматизированной системы управления процессом тестирования знаний с уточнением состава тестов и исследованы ее свойства. За счет уточнения состава тестов по трудности заданий и полного учета всей информации повышена точность тестирования знаний каждого испытуемого. Предложен итеративный стохастический алгоритм и получена оценка скорости сходимости.

Ключевые слова: математическая теория тестирования; модель Раша; логит; конструирование тестов; автоматизированная система управления; стохастическая аппроксимация.

Bessarabov N. A., Bondarenko A. V., Kondratenko T. N., Timofeev D. S.
AUTOMATED CONTROL SYSTEM FOR KNOWLEDGE TESTING. AN INFORMATION ACCUMULATION IN SYSTEM OPERATION
(pp. 50-56)

Abstract. The article deals with the task of creation of an automated control system for knowledge testing with the test structure adjustment. In this system the knowledge testing process is considered as an iterative process. Rasch model is used for evaluating person and item parameters. An organizer forms a homogeneous group of examinees at each system cycle. At each step the system selects the best test basing on the convergent procedure of stochastic approximation. The best test depends on probabilistic characteristics of examinees contingent and allows to increase the accuracy of person parameters estimation. To identify factors, that prevent obtaining objective evaluations, such as conversations and copying, interaction rate is introduced. The interaction effect between examinees on the test marks accuracy is analyzed. To improve the accuracy of person parameters estimation the system reestimates the probability characteristics of the subjects group at each cycle. Person and item parameters are aligned on a common scale at each cycle. Moreover, in order to improve the accuracy of person parameters estimation information from previous cycles is taken into account at current cycle. A proof of a system convergence and a convergence rate estimate are given. A structure chart is given for the system. Moreover, blocks and dialogues are described. Examples of the introduced system efficiency are demonstrated.

Keywords: Item response theory; Rasch model; Logit; Test design; Automated control system; Stochastic approximation.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Н. А. Бессарабов, А. В. Бондаренко (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва; Московский физико-технический институт (государственный университет)) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
Т. Н. Кондратенко, Д. С. Тимофеев (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва)

Eng

N. A. Bessarabov, A. V. Bondarenko (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow; Moscow Institute of Physics and Technology (State University)) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
T. N. Kondratenko, D. S. Timofeev (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow)

+ - Библиографический список (References) Click to collapse

Рус

1. Автоматизированная система управления процессом тестирования знаний. Уточнение состава тестов / Н. А. Бессарабов и др. // Вестник компьютерных и информационных технологий. 2016. № 5. С. 45 – 51.
2. De Ayala R. J. The Theory and Practice of Item Response Theory. New York: Guilford Press, 2009. 448 p.
3. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
4. Поляк Б. Т., Цыпкин Я. З. Оптимальные псевдоградиентные алгоритмы адаптации // Автоматика и телемеханика. 1980. № 8. С. 74 – 84.
5. Поляк Б. Т. Сходимость и скорость сходимости итеративных стохастических алгоритмов. I. Общий случай // Автоматика и телемеханика. 1976. № 12. С. 83 – 94.
6. Mair P., Hatzinger R. Extended Rasch Modeling: The eRm Package for the Application of IRT Models in R [Электронный ресурс] // Journal of Statistical Software. May 2007. V. 20, Is. 9. 20 р. URL: https://www.researchgate.net/publication/ 5142997_Extended_Rasch_Modeling_The_eRm_Package_for_the_Application_of_IRT_Models_in_R (дата обращения: 18.04.2016).

Eng

1. Bessarabov N. A., Bondarenko A. V., Kondratenko T. N., Timofeev D. S. (2016). Automated control system for knowledge testing. An adjustment of test structure. Vestnik komp'iuternykh i informatsionnykh tekhnologii, (5), pp. 45-51. doi: 10.14489/vkit.2016.05.pp.045-051 [in Russian language]
2. De Ayala R. J. (2009). The theory and practice of item response theory. New York: Guilford Press.
3. Neiman Iu. M., Khlebnikov V. A. (2000). Introduction to the theory of modeling and parameterization of pedagogical test. Moscow: Prometey. [in Russian language]
4. Poliak B. T., Tsypkin Ia. Z. (1980). Optimal pseudo gradient adaptation algorithms. Avtomatika i telemekhanika, (8), pp. 74-84. [in Russian language]
5. Poliak B. T. (1976). Convergence and rate of convergence of iterative stochastic algorithms. I. General case. Avtomatika i telemekhanika, (12), pp. 83-94. [in Russian language]
6. Mair P., Hatzinger R. (2007). Extended Rasch modeling: the eRm package for the application of IRT models in R. Journal of Statistical Software. May 2007. 20(9). Available at: https://www.researchgate.net/publication/5142997_Extended_Rasch_Modeling_The_eRm_Package_for_the_Application_of_IRT_Models_in_R (Accessed: 18.04.2016).

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа статьи заполните форму:

{jform=1,doi=10.14489/vkit.2016.06.pp.050-056}

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please fill out the form below:

{jform=2,doi=10.14489/vkit.2016.06.pp.050-056}