10.14489/vkit.2016.05.pp.045-051

DOI: 10.14489/vkit.2016.05.pp.045-051

Бессарабов Н. А., Бондаренко А. В., Кондратенко Т. Н., Тимофеев Д. С.
АВТОМАТИЗИРОВАННАЯ СИСТЕМА УПРАВЛЕНИЯ ПРОЦЕССОМ ТЕСТИРОВАНИЯ ЗНАНИЙ. УТОЧНЕНИЕ СОСТАВА ТЕСТОВ
(c.045-051)

Аннотация. Рассмотрена задача создания автоматизированной системы управления процессом тестирования знаний с уточнением состава тестов и исследованы свойства данной системы. Получено повышение точности тестирования знаний каждого испытуемого за счет уточнения состава тестов по трудности заданий. Проанализированы свойства теста и влияние списывания и подсказок на точность оценивания подготовленности.

Ключевые слова: математическая теория тестирования; модель Раша; логит; конструирование тестов; автоматизированная система управления.

Bessarabov N. A., Bondarenko A. V., Kondratenko T. N., Timofeev D. S.
AUTOMATED CONTROL SYSTEM FOR KNOWLEDGE TESTING. AN ADJUSTMENT OF TEST STRUCTURE
(pp.045-051)

Abstract. The article deals with the task of creation of an automated control system for knowledge testing with the test structure adjustment. Rasch model is used for evaluating person and item parameters. Maximum likelihood method is used for evaluating item and person parameters. Estimation errors are assessed for each item and person parameters. An organizer forms a homogeneous group of examinees. It is proposed to use normal distribution to describe person parameters in group. It is introduced a test resolving power. It is calculate the upper and lower limits of the test resolving power. It is introduced a concept of the best test. The best test depends on probabilistic characteristics of examinees contingent and allows increasing the accuracy of person parameters estimation. It is proposed and examined an optimization task to minimize the average dispersion of person parameter estimations for ratio item parameters. Attention is drawn to the need to know the person parameter’s prior distribution. It is proposed to use the solution for the test structure adjustment. To identify factors, that prevent obtaining objective evaluations, such as conversations and copying, interaction rate is introduced. The interaction effect on the test marks accuracy is analyzed. Example of the efficiency of the introduced system is demonstrated. For the example the graphs of item parameters optimal distribution and standard deviation of person parameter estimations are plotted.

Keywords: математическая теория тестирования; модель Раша; логит; конструирование тестов; автоматизированная система управления.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Н. А. Бессарабов, А. В. Бондаренко (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва; Московский физико-технический институт (государственный университет) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
Т. Н. Кондратенко, Д. С. Тимофеев (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва)

Eng

N. A. Bessarabov, A. V. Bondarenko (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow; Moscow Institute of Physics and Technology (State University) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
T. N. Kondratenko, D. S. Timofeev (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow)

+ - Библиографический список (References) Click to collapse

Рус

1. De Ayala R. J. The Theory and Practice of Item Response Theory. New York: Guilford Press, 2009. 448 p.
2. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Chicago: The University of Chicago Press. 1980. 199 p.
3. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
4. Алгоритм конструирования критериально-ориентированного теста / Н. А. Бессарабов и др. // Вестник компьютерных и информационных технологий. 2014. № 7. С. 42 – 48. doi: 10.14489/vkit.2014.07.pp.042-048.
5. Багрецов С. А., Бондаренко А. В., Обносов Б. В. Квалиметрия групповой деятельности операторов сложных систем управления. М.: ФИЗМАТЛИТ, 2006. 384 с.

Eng

1. De Ayala R. J. (2009). The theory and practice of item response theory. New York: Guilford Press.
2. Rasch G. (1980). Probabilistic models for some intelligence and attainment tests. Chicago: The University of Chicago Press.
3. Neiman Iu. M., Khlebnikov V. A. (2000). Introduction to the theory of modeling and parameterization of pedagogical test. Moscow: Prometey.
4. Bessarabov N. A., Bondarenko A. V., Kondratenko T. N., Timofeev D. S. (2014). An algorithm for constructing criterion-oriented test. Vestnik komp'iuternykh i informatsionnykh tekhnologii, (7), pp. 42-48. doi: 10.14489/vkit.2014.07.pp.042-048.
5. Bagretsov S. A., Bondarenko A. V., Obnosov B. V. (2006). Qualimetry of group activities of complex control systems operators. Moscow: FIZMATLIT.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа статьи заполните форму:

{jform=1,doi=10.14489/vkit.2016.05.pp.045-051}

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please fill out the form below:

{jform=2,doi=10.14489/vkit.2016.05.pp.045-051}