10.14489/vkit.2016.02.pp.046-051

DOI: 10.14489/vkit.2016.02.pp.046-051

Бессарабов Н. А., Бондаренко А. В., Кондратенко Т. Н., Тимофеев Д. С., Хмельницкий Г. А.
ЗАДАЧА ВЫБОРА МАТЕМАТИЧЕСКОЙ МОДЕЛИ ТЕСТИРОВАНИЯ ЗНАНИЙ ДЛЯ ДИХОТОМИЧЕСКИХ ДАННЫХ
(c. 46-51)

Аннотация. Рассмотрена задачи выбора математической модели тестирования знаний для дихотомических данных. Проанализированы тест отношения правдоподобия и информационные критерии Акаике, Шварца–Байеса и Ханнана–Куина. Предложен информационный критерий для выбора модели тестирования знаний, учитывающий информацию о размере выборки, числе параметров в модели и заданий в тесте.

Ключевые слова: математическая теория тестирования; модель Раша; модель Бирнбаума; выбор модели; критерии Акаике, Шварца–Байеса и Ханнана–Куина.

Bessarabov N. A., Bondarenko A. V., Kondratenko T. N., Timofeev D. S., Hmelnickij G. A.
MATHEMATICAL MODEL OF TESTING KNOWLEDGE SELECTION TASK FOR DICHOTOMOUS DATA
(pp. 46-51)

Abstract. The paper is focused on the problem of selection of mathematical model of knowledge testing. Rasch, 1PL, 2PL and 3PL models are examined as knowledge testing models. The marginal maximum likelihood method is used to estimate the latent parameters. Likelihood ratio test and information criteria such as AIC BIC and HQC are analyzed. Moreover, a new information criterion for IRT model selection is proposed. This criterion takes into account the number of people, the number of tasks and the number of model parameters. Simulation modeling is implemented in order to compare the efficiency of above mentioned model selection methods. During computer experiment cases of short and long tests, cases of small and large samples of examinees are simulated. Moreover, cases when a person’s qualification is lower equal to or higher than the tasks complexity are analyzed. In order to estimate the latent parameters during computer experiment the package mirt for R is used. Results of the experiment indicated that the accuracy of model selection was increasing with the increasing of sample size. Moreover, the accuracy of model selection was decreasing with the increasing of a model complexity. This computer experiment demonstrated the efficiency of the introduced information criterion.

Keywords: Item response theory; Rasch model, Birnbaum model; Selection model; Akaike Information Criterion; Schwarz-Bayesian Information Criterion; Hannan-Quinn Information Сriterion.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Н. А. Бессарабов (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва), (Московский физико-технический институт (государственный университет, г. Долгопрудный, Московская область) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
А. В. Бондаренко, Т. Н. Кондратенко, Д. С. Тимофеев, Г. А. Хмельницкий (ФГУП «Государственный научно-исследовательский институт авиационных систем» ГНЦ РФ, Москва);

Eng

N. A. Bessarabov (Moscow Institute of Physics and Technology (State University), Dolgoprudny, Moscow Region) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
A. V. Bondarenko, T. N. Kondratenko, D. S. Timofeev, G. A. Hmelnickij (State Research Institute of Aviation Systems State Scientific Center of Russian Federation, Moscow)

+ - Библиографический список (References) Click to collapse

Рус

1. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей, 2000. 168 с.
2. Kang T., Cohen A. S. IRT Model Selection Methods for Dichotomous Items // Applied Psychological Measurement. 2007. V. 31, N 4. P. 331 – 358. doi: 10.1177/0146621606299.233
3. Baker F. B., Kim S. H. Item Response Theory: Parameter Estimation Techniques. NY: CRC Press, 2004. 528 p.
4. Ayala R. J. The Theory and Practice of Item Response Theory. NY: Guilford Press, 2009. 448 p.
5. Claeskens G., Hjort N. L. Model Selection and Model Averaging. NY: Cambridge University Press, 2008. 332 p.
6. Chalmers R. P. Mirt: A Multidimensional Item Response Theory Package for the R Environment // Journal of Statistical Software. 2012. V. 48, № 6. Р. 1 – 29.
7. Алгоритм конструирования критериально-ориентированного теста / Н. А. Бессарабов и др. // Вестник компьютерных и информационных технологий. 2014. № 7. С. 42 – 48.

Eng

1. Neiman Iu. M., Khlebnikov V. A. (2000). Introduction to modeling theory and parameterization of pedagogical tests. Moscow: Prometei.
2. Kang T., Cohen A. S. (2007). IRT model selection methods for dichotomous items. Applied Psychological Measurement, July, pp. 331-358. doi: 10.1177/0146621606299.233
3. Baker F. B., Kim S. H. (2004). Item response theory: parameter estimation techniques. 2nd Ed. NY: CRC Press.
4. Ayala R. J. (2009). The theory and practice of item response theory. NY: Guilford Press.
5. Claeskens G., Hjort N. L. (2008). Model selection and model averaging. NY: Cambridge University Press.
6. Chalmers R. P. (2012). Mirt: a multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), pp. 1-29. doi: 10.18637/jss.v048.i06
7. Bessarabov N. A., Bondarenko A. V., Kondratenko T. N., Timofeev D. S. (2014). An algorithm for constructing criterion-oriented test. Vestnik komp'iuternykh i informatsionnykh tekhnologii, (7), pp. 42-48. doi: 10.14489/vkit.2014.07.pp.042-048.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

Стоимость статьи 350 руб. (в том числе НДС 18%). После оформления заказа, в течение нескольких дней, на указанный вами e-mail придут счет и квитанция для оплаты в банке.

После поступления денег на счет издательства, вам будет выслан электронный вариант статьи.

Для заказа статьи заполните форму:

{jform=1,doi=10.14489/vkit.2016.02.pp.046-051}

Eng

This article is available in electronic format (PDF).

The cost of a single article is 350 rubles. (including VAT 18%). After you place an order within a few days, you will receive following documents to your specified e-mail: account on payment and receipt to pay in the bank.

After depositing your payment on our bank account we send you file of the article by e-mail.

To order articles please fill out the form below:

{jform=2,doi=10.14489/vkit.2016.02.pp.046-051}