Creation of one-parametrical model russia for testa "linear algebra, analytical geometry"

Full Text

В работах [1-4] тест «Линейная алгебра, аналитическая геометрия», предназначенный для текущего контроля знаний студентов первого курса Самарского государственного технического университета, рассматривался с точки зрения классической теории тестов. В данной публикации с целью более тщательного исследования качества самого теста, а также для получе- ния объективной оценки уровня знаний студентов будем использовать IRT (современная теория создания тестов) с моделями Раша [5-12]. В рамках этой теории результаты наблюдений (количество набранных баллов) трактуются как величины, лишь фиксирующие число положительных исходов случайных событий, и не могут давать объективную картину уровня знаний и трудности заданий. Модели Раша позволяют преобразовать исход- ный материал в такие оценки, которые можно рассматривать как результаты измерения уровня подготовленности испытуемых и уровня трудности заданий. При этом используется единая линейная шкала логитов, а перечислен- ные параметры - уровень знаний испытуемого и трудность задания - полно- стью разделены, то есть не зависят друг от друга [12]. После построения модели проверяется, соответствуют ли ей результаты эксперимента. В теории Раша утверждается, что именно экспериментальные данные должны соответствовать модели, а не наоборот [7]. Следовательно, в случае выявленного несоответствия тест нужно переработать и добиться лучшего согласия с теорией. Рассмотрим, как строится однопараметрическая модель Раша [5, 7, 9, 11]. Латентные (скрытые) параметры - уровень знаний (8) и трудность задания (β) - считаются переменными величинами. Их начальные значения, полученные эмпирическим путем в результате тестирования, переводятся в единую ин- тервальную шкалу логитов. В качестве математической модели для описания связи между латентными переменными и эмпирическими результатами теста используется логистическое распределение, хорошо согласующееся с педагогической практикой. При этом вероятность правильного ответа i-го студента на j-е задание выражается формулой Pij = (1 + exp (-1,7(8i - f3j)))-1, где Pij - вероятность успеха i-го студента в j-м задании. Так как модель Раша описывает вероятность успеха как функцию одного параметра (8i - f3j ), она называется однопараметрической. Построим такую модель для нашего теста [5, 7, 9, 11]. Обозначим n - число заданий теста, N - число студентов, участвовавших в тестировании. В рассматриваемом тесте n = 19, N = 132. Начальные значения параметров 8 и β в шкале логитов определяются формулами 0 pi 0 pj j i Xi Rj 8 = ln , f3 qi = ln . qj Здесь pi = n , pj = N , Xi - число правильных ответов i - го студента, Rj - число правильных ответов на j-е задание, qi = 1 - pi, qj = 1 - pj. Находим средние значения логитов уровня знаний 8̅ и трудности заданий f3̅ : N O n O 8̅ = ∑i=1 8i N , f3̅ = ∑j=1 j , n i а также дисперсии V и U по множествам 80 j и f30 соответственно: V = 1 (∑N (80)2 - N(8̅)2), U = 1 (∑n (f30)2 - n(f3̅)2). N-1 i=1 i n-1 j=1 j Получаем 8̅ =0,644177, f3̅ =-0,55848, V =1,349436, U =-0,166361839. Далее вычисляем поправочные коэффициенты X и Y: X = J 1+U/2,89 =0,957998, Y = J 1+V/2,89 =1,19521. 1-UV/8,35 1-UV/8,35 В результате для оценок параметров θ и β в единой интервальной шкале логитов согласно формулам 8i = f3̅ + X8i , f3j = 8̅ + Yf3j 0 0 имеем соотношения 0 0 8i = -0,55848 + 0,9579988i , f3j = 0,644177 + 1,19521f3j . Стандартные ошибки измерения уровня знаний Se (8i) и трудности задания Se (f3j) находим по формулам X y Se (8i) = , Se (f3j) = . Jnpiqi JNpjqj Для анализа и корректировки тестовых заданий строим две группы характеристических кривых, используя формулу вероятности Pij логистического распределения. В одном случае фиксируем трудность f3j , полагая 8 независимой переменной. Характеристическая кривая задания j строится согласно формуле Pj (8) = (1 + exp (-1,7(8 - f3j)))-1. Во втором случае при фиксированном 8i и независимой переменной f3, согласно соотношению Pi (f3) = (1 + exp(-1,7(f3 - 8i )))-1 получаем характеристическую кривую i-го студента. Выполним предварительный анализ полученных результатов. На рис. 1 представлены характеристические кривые 1-й группы для 19 за- даний теста. По горизонтали отложены логиты уровня знаний, по вертикали - вероятности выполнения заданий в зависимости от уровня знаний студента. Задания теста по шкале логитов перекрывают диапазон от -5 до +5 логи- тов. По рисунку видно, что некоторые задания дублируют друг друга (кривые практически совпадают), поэтому их можно исключить из теста. С другой стороны, есть некоторая неравномерность (провалы) в расположении кривых, значит, некоторые задания теста следует переработать. Рис. 1. Характеристические кривые заданий На рис. 2 показаны характеристические кривые 2-й группы для 132 сту- дентов. По горизонтали отложены логиты уровня трудности заданий, по вер- тикали - вероятности выполнения заданий в зависимости от трудности. 1 0,75 0,5 0,25 0 -6 -3 0 3 6 Рис. 2. Характеристические кривые уровня знаний Лучшим критерием качества измерений в IRT cчитаются совмещенные гистограммы уровней знаний и трудности заданий [5]. Построенные в единой шкале логитов, такие гистограммы выявляют все недостатки теста. Для ис- следуемого теста эти гистограммы изображены на рис. 3: сверху - гисто- грамма частот правильных ответов в зависимости от уровня знаний, снизу - гистограмма частот правильных ответов в зависимости от трудности заданий. Что касается нормального распределения, которое принимается в качестве критерия [7], то визуально здесь наблюдается неплохое соответствие. В то же время диапазон значений логитов трудности меньше диапазона уровня зна- ний. Это означает, что в тесте нет заданий, соответствующих как уровню наиболее, так и уровню наименее подготовленных студентов, то есть не хва- тает трудных и легких заданий. Проверим соответствие эмпирических данных модели Раша. С этой це- лью выполняются следующие действия [7]. Все тестируемые делятся на J групп в зависимости от уровня подготовленности θ. Выбирается задание. Для каждой группы вычисляется вероятность правильных ответов на выбранное задание теста: , где j - номер группы (j = 1, 2, …, J), - число студентов в группе, - число правильных ответов на задание. Эта величина - экспериментальное значение вероятности. Затем строятся два графика: экспериментальная кривая и характеристическая кривая , полученная по модели Раша. Рис. 3. Совмещенные гистограммы уровней знаний и трудности заданий Для рассматриваемого теста число групп с одинаковым уровнем подго- товки оказалось равным J = 18. На рис. 4 представлены результаты вычисле- ний в единой интервальной шкале логитов для заданий различной трудности. Это задания: 14 - слева и 15 - справа. Сплошными линиями изображены графики характеристических кривых, построенных по модели Раша, точками - экспериментальные значения. Построенные графики выявляют значительное расхождение эксперимен- тальных данных и результатов, полученных с помощью однопараметриче- ской модели Раша. Это может быть обусловлено [7] несовершенством зада- ния, нарушением в процедуре тестирования, но, возможно, означает, что для более адекватного отображения действительности следует переходить к двух- и трехпараметрическим моделям [9]. Рис. 4. Сравнение экспериментальных данных с моделью Раша Итак, для теста «Линейная алгебра, аналитическая геометрия» построена однопараметрическая модель Раша, проиллюстрированная графиками харак- теристических кривых уровней знаний и трудности заданий, совмещенными гистограммами этих уровней, графиками сравнения модели Раша с экспери- ментальными данными по результатам тестирования. Предварительный ана- лиз позволил сделать следующие выводы: требуется исправить неоднород- ность расположения кривых уровня знаний, переработав задания теста; устранить совпадение кривых, исключив задания, дающие повторения. Кроме того, необходимо добавить в тест задания, соответствующие как уровню наиболее, так и уровню наименее подготовленных студентов. Расхождение экспериментальных данных с результатами, полученными по модели Раша, следует проверить по известным критериям теории вероятностей.

About the authors

Lidiya A. Muratova

Samarsky State Technical University

Email: muratova-la@mail.ru
443100, Samara, Molodogvardeyskaya Str., 244

References

Supplementary files