Модели Бирнбаума для оценки качества теста «линейная алгебра, аналитическая геометрия»

Полный текст

В рамках современной теории тестирования (IRT), как правило, рассмат- риваются три модели: однопараметрическая (модель Раша), двух- и трехпа- раметрические модели Бирнбаума [1-5]. В статье [6] для теста «Линейная алгебра, аналитическая геометрия» была построена однопараметрическая модель Раша. При этом были использованы формулы, согласно которым вероятность правильного ответа испытуе- мых с разным уровнем подготовки на задание теста равна , а вероятность правильного выполнения различных по трудности за- даний испытуемым равна . Выполним еще два построения: построим двухпараметрическую и трехпараметрическую модели Бирнбаума для того же теста. Двухпараметрическая модель отличается от модели Раша тем, что содер- жит параметр , характеризующий дифференцирующую способность зада- ния. В этом случае вероятность правильного ответа испытуемых с разным уровнем подготовки на задание теста определяется формулой [1-5] . Формула для имеет вид , где - коэффициент бисериальной корреляции задания. По ряду причин [5] вместо этого коэффициента в силу схожести используют точечный бисериальный коэффициент - коэффициент корреляции каждого задания с тестовым баллом студента (индивидуальным баллом) . Здесь - число студентов, выполнивших данное задание; - число студентов, не выполнивших его; - общее количе- ство студентов; - средний индивидуальный балл студентов, справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, справив- шихся с данным заданием, к ); - средний индивидуальный балл студентов, не справившихся с дан- ным заданием (отношение суммы индивидуальных баллов студентов, не справившихся с данным заданием, к ); - стандартное отклонение для индивидуальных баллов всех студентов. Итак, будем считать, что . Параметр прямо пропорционален тангенсу угла наклона характеристи- ческой кривой в точке перегиба. Чем больше значение этого параметра, тем больше крутизна характеристической кривой и, значит, больше диффе- ренцирующая способность задания. Поэтому в процессе создания нормативно-ориентированного теста, предполагающего сравнение уровней знаний тестируемых между собой [1, 5], принципиальным является отбор заданий в зависимости от значений пара- метра . В таблицу помещены значения (взяты из статьи [7]), вычисленные по приведенной выше формуле значения , а также трудности заданий (фор- мулы для вычисления взяты из статьи [6]). Расчетные параметры для построения характеристических кривых Номер зада- ния 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 0,29 0,55 0,36 0,45 0,51 0,29 0,44 0,54 0,42 0,52 0,35 0,39 0,55 0,64 0,59 0,60 0,59 0,58 0,37 0,30 0,66 0,39 0,50 0,59 0,30 0,49 0,64 0,46 0,61 0,37 0,42 0,66 0,83 0,73 0,75 0,73 0,71 0,40 -1,35 -0,67 -0,98 -1,41 0,17 0,24 -0,72 0,01 0,17 -0,31 0,57 -0,10 -0,57 0,83 1,39 0,35 0,46 0,35 1,12 Рассмотрим рекомендации по отбору заданий, следуя которым можно по- лучить тест с хорошей различающей способностью, что, как правило, приво- дит к повышению его надежности и валидности [5]. Необходимо совсем отказаться от заданий с отрицательными значениями параметра (в данном тесте таких заданий нет), считающихся бесполезны- ми. Это связано с тем, что на них хорошо отвечают испытуемые с низким уровнем знаний и плохо - с высоким уровнем знаний, что противоречит здра- вому смыслу. Кроме того, нужно отбирать задания с достаточно большими значениями - из интервала . В тесте с этой точки зрения самыми плохими бу- дут задания 1, 3, 6, 11. Дальнейший анализ предполагает отбор заданий с наибольшей дифференцирующей способностью при равной трудности. Рассмотрим задания 5 и 9, имеющие одинаковую трудность и отличающиеся параметром : , . Согласно однопараметри- ческой модели Раша оба задания имеют одну и ту же кривую вероятностей правильного ответа испытуемых (кривая 1, рис. 1), то есть с точки зрения дифференцирующей способности задания неразличимы. В случае двухпара- метрической модели получим две различные характеристические кривые: бо- лее крутую (2) для задания 5 и менее крутую (3) для задания 9. Таким обра- зом, при минимизации длины теста предпочтительно задание 5. Одинаковую трудность имеют еще два задания: 16 и 18. В этом случае можно оставить задание 16, имеющее чуть большее значение параметра . 1,2 1,0 1 2 0,8 4 3 0,6 0,4 5 0,2 6 0,0 -5 -4 -3 -2 -1 0 1 2 3 4 5 θ Рис. 1. Модель Раша и двухпараметрическая модель Бирнбаума для заданий 5 и 9 Рассматриваемый тест относится к тестам закрытого типа с выбором единственного правильного ответа из пяти предложенных для каждого задания. В таких случаях, чтобы снизить эффект угадывания, предлагается использовать трехпараметрическую модель Бирнбаума [1-5]. Перейдем к ее построению. Эта модель Бирнбаума содержит еще один параметр , характеризующий вероятность правильного ответа на задание в том случае, если этот ответ угадан, а не основан на знаниях. При этом вероятность правильного ответа испытуемых на задание теста выражается формулой , где , - число ответов на задание . В рассматриваемом тесте . Нижние асимптоты характеристических кривых заданий этой модели проходят через точки , поэтому сами характеристические кривые ста- новятся более пологими. Дифференцирующая способность теста в этом слу- чае снизится. На рис. 2 изображены кривые вероятностей правильного ответа испытуе- мых на задание 5 в зависимости от уровня подготовки , построенные со- гласно двухпараметрической модели (кривая 1) и трехпараметрической моде- ли (кривая 2). 1,2 1,0 P(θ) 0,8 0,6 0,4 2 0,2 1 0,0 -5 -4 -3 -2 -1 0 1 2 3 4 5 θ Рис. 2. Характеристические кривые задания 5 согласно моделям Бирнбаума Каждое задание дает некоторое количество информации об уровне зна- ний , и эта информация обратно пропорциональна стандартной ошибке из- мерения с помощью данного задания [3]. Чтобы описать информацию, со- ответствующую заданию , вводится в рассмотрение информационная функ- ция [3, 5]: , где Информационная функция выступает в качестве характеристики степени пригодности задания и может быть использована для повышения эффективности тестовых измерений, позволяя вычислить дифференцированную стандартную ошибку измерения. Это выгодно отличает современную теорию тестовых измерений от классической [5]. Для модели Раша информационная функция определяется соотношением Для двухпараматрической модели Бирнбаума . Информационная функция для трехпараметрической модели Бирнбаума имеет вид . Максимальное значение информационной функции для модели Раша и двухпараметрической модели Бирнбаума достигается в точке перегиба характеристической кривой, то есть когда трудность (в логитах) равна уровню знаний (в логитах). Таким образом, для наиболее информативны задания со значениями трудности из окрестности точки . На рис. 1 для заданий 5 и 9 теста построены информационные функции: по модели Раша (кривая 4 - общая для двух заданий), по двухпараметрической модели для задания 5 (кривая 5) и для задания 9 (кривая 6). Трудность заданий , поэтому эти задания наиболее информативны для , близких к значению 0,13. В случае трехпараметрической модели Бирнбаума максимум информационной функции достигается в точке [3, 5] . Так, для задания 5 с трудностью максимум информационной функции достигается в точке , для задания 9 с той же трудностью - в точке . Информационная функция всего теста получается в результате суммирования всех : . Информационная функция всего теста должна иметь один четко выраженный максимум, иначе тест нуждается в доработке, в него нужно добавлять задания с трудностями, соответствующими областям провала информационной функции [3, 5]. На рис. 3 представлены информационные функции всего теста, построенные согласно модели Раша (кривая 1), двухпараметрической модели (кривая 2), трехпараметрической модели (кривая 3). В рассматриваемом тесте это условие выполняется - каждая кривая имеет одну точку максимума. 12 1 10 8 I(θ) 6 2 4 3 2 0 -5 -4 -3 -2 -1 0 1 2 3 4 5 θ Рис. 3. Информационные функции теста Итак, для теста «Линейная алгебра, аналитическая геометрия» построены две модели Бирнбаума: двух- и трехпараметрическая. Если считать, что тест должен соответствовать этим моделям, необходимо избавиться от некоторых заданий, а другие изменить. В частности, с точки зрения нормативно- ориентированного теста он должен обладать достаточно высокой дифферен- цирующей способностью. Поэтому следует убрать задания 9 и 18, одинако- вые по трудности с заданиями 5 и 16 соответственно и отличающиеся более низкой дифференцирующей способностью. Кроме того, необходимо заменить или изменить задания 1, 3, 6, 11 так, чтобы их дифференцирующая способ- ность возросла. Что касается информационных функций, графики, построен- ные по трем моделям, включая модель Раша, не выявили противоречий меж- ду теорией и экспериментом. Отметим, что в результате предлагаемых преобразований может постра- дать содержательная сторона теста, может нарушиться его целостность. Дело в том, что рассматриваемый тест совмещает в себе черты нормативно- и кри- териально-ориентированного теста, а используемые модели предназначены для нормативно-ориентированных тестов. При составлении теста ставилась задача не только ранжировать студентов по степени их подготовленности, но и выяснить, как усвоен и усвоен ли вообще каждый раздел учебной программы. Конечно, при этом желательно выяснить, не слишком ли сложен или слишком прост тест, какова трудность заданий. Как оценивать эффективность такого теста? Есть ли компромиссное ре- шение? На этот счет существуют различные точки зрения [1, 3, 5].Опираясь на точку зрения авторов, считающих, что компромисс возможен [1, 5], будем искать его, ни в коем случае не отказываясь от полученных рекомендаций при корректировке теста с учетом всех факторов.

Об авторах

Лидия Александровна Муратова

Самарский государственный технический университет

Email: muratova-la@mail.ru
к.т.н., доцент кафедры «Высшая математика и прикладная информатика». 443100, Россия, г. Самара, ул. Молодогвардейская, 244

Список литературы

Дополнительные файлы