The analysis of the "Theory of functions of the complex variable" test with attraction of models Russia and Birnbaum

Full Text

Введение Достижение высокого качества обучения есть цель учебного процесса, важ- ной составляющей которого является контроль знаний. Контроль позволяет оце- нить успехи и выявить пробелы в знаниях. Использование тестов для контроля знаний дает возможность получить более объективную картину по сравнению с традиционными средствами оценивания. Содержание теста при этом не только предоставляет информацию о том, чему учат и что хотят получить в результате обучения, но и ориентирует определенным образом деятельность преподавателя в процессе обучения. Для того чтобы тест был эффективным средством измере- ния знаний, он должен удовлетворять определенным требованиям. Поэтому применение тестового контроля предполагает последующую проверку теста с построением его модели и сравнение с экспериментальными данными. В случае их несоответствия тест следует переработать. В работе [1] был выполнен анализ теста по теме «Теория функций ком- плексной переменной» на основе классической теории. После статистической обработки экспериментальных данных были сделаны выводы, согласно кото- рым два задания из 12 требуют переработки. Считая проведенный анализ первым этапом конструирования теста, вы- полним более детальное исследование этого же теста с позиций современной теории тестирования и наметим пути его усовершенствования. Обзор литературы Современная теория тестирования Item Response Theory (IRT) [2-7] развива- ется в течение последних 50 лет. В этой теории осуществляется попытка связать латентные (скрытые) параметры с наблюдаемыми с помощью математико- статистических методов. При тестировании латентными параметрами являются уровень подготовленности испытуемого и трудность задания. Задания теста до- ступны для наблюдения и могут выступать в качестве индикаторов, позволяю- щих судить о величине латентного параметра. Главной задачей IRT является пе- реход от индикаторных переменных к латентным параметрам [6]. Среди существующих моделей, позволяющих выполнить этот переход, наибольшее распространение получила модель Раша (см., например, библио- графию [8-11]). В своей работе [4] Г. Раш разместил уровень подготовленности 8 и уровень трудности {J задания на единой интервальной шкале, измеряя 8 и {J в одних и тех же единицах - логитах. Им была предложена модель, в которой вероятность правильного ответа является функцией от разности указанных величин. Если находится вероятность правильного ответа в зави- симости от уровня знаний, то в качестве параметра выступает трудность за- дания; если же находится вероятность правильного ответа в зависимости от трудности задания, то параметром становится уровень знаний. Более универ- сальной моделью считается модификация модели Раша с произвольными промежуточными категориями выполнения тестового задания - Partial Credit Model (PCM). Именно она рекомендуется для педагогических измерений [12]. В модели Раша не учитывается дифференцирующая способность заданий. Коэффициент дифференцирующей способности задания появляется в двух- параметрической модели Бирнбаума [3] в качестве второго параметра. Трех- параметрическая модель Бирнбаума [3] содержит помимо двух перечислен- ных третий параметр, учитывающий эффект угадывания правильного ответа. Казалось бы, модели Бирнбаума лучше подходят для описания эксперимен- тальных данных, но эти модели имеют свои внутренние противоречия [6]. Более того, позиция Раша и его последователей такова, что не теория должна соответствовать экспериментальным данным, а напротив, эмпирические дан- ные - модели. По их мнению, именно модель Раша удовлетворяет требовани- ям, предъявляемым к тесту как качественному измерительному инструменту уровня знаний. И в случае отсутствия должного совпадения теории и экспе- римента необходимо переработать тест [6]. Полученные при построении мо- дели результаты выявят основные недостатки теста (неравномерность зада- ний по трудности, например) и позволят правильным образом скорректиро- вать тестовые задания. Но есть абсолютно иная точка зрения, согласно которой перечисленные модели не удовлетворяют требованию внутренней согласованности и непро- тиворечивости, и путь, по которому пошло развитие теории тестирования под влиянием работ Раша и Бирнбаума, является ошибочным [13]. В данном исследовании при анализе теста «Теория функций комплексной переменной» будем опираться на точку зрения большинства, то есть исполь- зовать модели Раша и Бирнбаума. Материалы и методы Объектом исследования является тест «Теория функций комплексной пе- ременной» [1], который был предложен студентам нефтетехнологического факультета СамГТУ. Это тест закрытого типа, состоит из 12 заданий. К каж- дому заданию даются 5 ответов с одним правильным. Тест используется для текущего контроля знаний. Рассматриваемая выборка содержит 158 работ. Исследование теста выполняется с позиций современной теории тестиро- вания (IRT) [2-7, 14-18]. При этом используется однопараметрическая мо- дель Раша [2-7, 14-19]: Pj (8) = (1 + exp (-1,7(8 - {Jj )))-1 ; (1) Pi ({J) = (1 + exp(-1,7(8i - {J)))-1. Первая формула позволяет находить Pj (8) - вероятность правильных от- ветов в зависимости от уровня знаний 8 при фиксированной трудности {Jj , по второй формуле находится Pi ({J) - вероятность правильных ответов в зави- симости от трудности {J задания при фиксированном уровне знаний 8i . В этой модели уровень знаний 8 и трудность заданий {J размещаются на единой шкале логитов, что очень удобно при сравнении указанных величин. Гистограммы 8 и {J считаются [19] лучшим критерием качества измерений в IRT, определяя недостатки теста. Например, несовпадение диапазонов значений 8 и {J может быть следствием недостатка или избытка простых либо сложных заданий. Сами гистограммы для хорошего нормативно-ориентированного теста должны соответствовать нормальному (симметричная кривая с одной точкой максимума) или близкому к нормальному распределениям. Что тогда означа- ет, в частности, нарушение симметрии? Смещение среднего значения трудно- сти заданий вправо от центра распределения говорит о том, что в тесте боль- ше трудных заданий. Но вследствие этого среднее значение уровней знаний отклоняется от центра распределения в противоположную сторону, влево, а это означает получение заниженных результатов тестирования. Дальнейший анализ теста предполагает построение характеристических кривых по формуле (1). У хорошего теста эти кривые достаточно равномерно заполняют весь интервал, разность трудностей стоящих рядом заданий мень- ше 0,5 логита, но при этом кривые не совпадают [7, 14]. Если это не так, в тест следует добавить другие задания, а также исклю- чить дублирующие. При проверке соответствия эмпирических данных модели Раша экспериj j ментальные значения вероятности Pэ(8) строятся на одном графике с соот- ветствующей теоретической кривой (1) Pj (8). Чтобы найтиPэ(8), все тести- руемые делятся на группы вдоль шкалы 8 (с одинаковым уровнем подготов- ленности внутри группы). Далее для выбранного задания j подсчитывается вероятность правильных ответов в каждой группе [6]: э rs Pj (8s) = , (2) m s где s - номер группы (s= 1,2, … , S), ms - число студентов в группе, rs - число э правильных ответов на задание. Следуя теории Раша, нужно избавиться от заданий, не дающих хорошего совпадения Pj (8) с теоретической вой Pj (8). Одним из важнейших критериев качественности нормативноориентированного теста является его дискриминативность - дифференцирующая способность заданий ранжировать испытуемых по уровню знаний [6]. О дискриминационной способности задания можно судить по наклону характеристической кривой задания в области Pj = 0,5. Чем больше крутизна, тем больше дискриминационный эффект задания. Но в модели Раша дифференцирующая способность заданий не учитывается и все графики в указанной области имеют одинаковую крутизну. Поэтому для оценки дифференцирующей способности задания привле- кают двухпараметрическую модель Бирнбаума: Pj (8) = (1 + exp (-1,7aj (8 - {Jj)))-1. (3) Здесь aj - второй параметр, характеризующий дифференцирующую спо- собность j задания. Наглядную картину дифференцирующей способности заданий дают графики характеристических кривых, построенных согласно формуле (3). Тангенс угла наклона характеристической кривой Pj (8) в точке перегиба прямо пропорционален параметру aj . Поэтому чем больше значение этого параметра, тем круче характеристическая кривая и, значит, больше дифференцирующая способность задания. Параметр aj находится по формуле [7, 20] rj j a � pb , (4) j J1-(rpb)2 pb где rj - точечный бисериальный коэффициент - коэффициент корреляции каждого задания с тестовым баллом студента (индивидуальным баллом). При отборе заданий в однородной группе тестируемых предпочтение от- дают задачам с высокой дифференцирующей способностью (например, в случае совпадения характеристических кривых) [7, 17]. Последний в рассматриваемой работе способ проверки качества теста осуществляется с помощью информационной функции [5, 6, 17]. Предпола- гая, что количество информации от j-го задания в точке θ обратно пропорци- онально стандартной ошибке измерения данного значения θ с помощью j-го задания, Бирнбаум ввел в рассмотрение информационную функцию Ij (8): Ij (8) = P j (P'(e))2 , e Q e где Qj (8) = 1 - Pj (8). j( ) j( ) Для модели Раша информационная функция принимает вид Ij (8) = 2,89Pj (8)Qj(8), (5) для двухпараматрической модели Бирнбаума - 2 Ij (8) = 2,89aj Pj (8)Qj(8). (6) Максимум функции Ij (8) достигается при условии 8 = {Jj . Принимая этот уровень за стопроцентный, можно оценить, насколько информативно задание j при измерении данного уровня знаний 8. Величина Ij (8) для двухпараметрической модели Бирнбаума прямо пропорциональна параметру aj дифференцирующей способности j-го задания. Поэтому более информативными являются задания с большей дифференцирующей способностью. Суммируя информационные функции Ij (8) всех заданий, получают информационную функцию теста: j=1 I(8) = ∑n Ij (8). У правильно сконструированного теста информационная функция имеет один четко выраженный максимум. Если это не так, следует доработать тест. Например, сдвинуть вправо или влево кривые информационных функций отдельных заданий, увеличив или уменьшив их трудность; если заданий много, можно убрать неподходящие [5, 6, 17]. Результаты исследования Анализ рассматриваемого теста на основе классической теории дал такие результаты [1]: два задания требуют переработки. Это задание № 2 с низким коэффициентом дискриминативности r j диск и задание № 12, точечный бисериpb альный коэффициент которого r j оказался ниже нормы. Проведем более полное исследование этого же теста с привлечением мо- дели Раша и двухпараметрической модели Бирнбаума. Построим сначала мо- дель Раша (1). Обозначив n - число заданий теста (n=12), N - число студентов, участвовавших в тестировании (N =158), переведем 8 и {J в удобную для сравнения единую интервальную шкалу логитов (логарифмов) [5, 6]. Пусть Xi - число правильных ответов i-го студента, Rj - число правильных ответов на j-е задание. Xi Rj Сначала находим относительные частоты pi = n , pj = N . Затем опредеi ляем начальные значения параметров 8 и β в шкале логитов 80 = [n pi , 1-pi j {J0 = [n pj , их средние значения 1-pj N O n O и дисперсии 8̅ = ∑i=1 ei N = 0,167, -{J = ∑j=1 {3j = -0,181 n V = 1 (∑N (80)2 - N(8̅)2) = 1,13, N-1 i=1 i U = 1 (∑n ({J0)2 - n({J̅)2) = 1,225. n-1 j=1 j Далее вычисляем поправочные коэффициенты X и Y: X = J 1+U/2,89 =1,307, Y = J 1+V/2,89 =1,291. 1-UV/8,35 1-UV/8,35 Для искомых параметров 8i и {Jj в соответствии с формулами 8i = {J̅ + X8i , {Jj = 8̅ + Y{Jj 0 0 получаем соотношения (в единой интервальной шкале логитов) 0 0 8i = -0,181 + 1,3078i , {Jj = 0,167 + 1,291{Jj . Чтобы оценить получившиеся результаты, выполним ряд построений. На рис. 1 представлены совмещенные гистограммы уровней знаний и трудности заданий. Верхний график - гистограмма уровней знаний, ниж- ний - гистограмма трудности заданий. По вертикальной оси отложены отно- сительные частоты. 0,3 Гистограмма уровней знаний 0,2 0,1 0,0 -4 -3 -2 -1 0 1 2 3 4 0,0 0,1 0,2 0,3 0,4 Гистограмма трудности заданий Рис. 1. Совмещенные гистограммы уровней знаний и трудности заданий Проверяя соответствие меры трудности заданий уровню подготовленно- сти студентов, отметим, что диапазон значений логитов трудности (-2,3) меньше диапазона уровня знаний (-3,3). Это означает, что в тесте нет зада- ний, соответствующих уровню наименее подготовленных студентов, то есть не хватает самых легких заданий. Визуально оба распределения близки к нормальному, что характерно для нормативно-ориентированного теста. Некоторое смещение нижнего графика влево от центра распределения, в сторону легких заданий, говорит о том, что в тесте больше простых, чем сложных задач. Значения трудности {Jj (по возрастанию) для всех 12 заданий представлены в таблице. № задания 2 1 3 4 8 6 9 5 10 7 12 11 {Jj -2,65 -1,87 -1,36 -0,36 -0,23 -0,06 -0,06 0,13 0,70 0,84 1,74 2,39 LJ{Jj - 0,78 0,51 1,00 0,13 0,17 0 0,19 0,57 0,14 0,9 0,65 aj 0,49 0,431 0,713 0,38 0,609 0,714 0,5 0,653 0,748 0,692 0,295 0,392 Трудность Pj и параметр дифференцирующей способности aj заданий теста Cумма трудностей {Jj отрицательна (простых заданий больше, чем сложных): ∑ {Jj = -0,809. Это недостаток теста, так как считается, что в хорошо сбалансированном тесте сумма трудностей {Jj всех заданий должна равняться нулю [6, 7]. Смещение гистограммы уровней знаний вправо (верхний график на рис. 1) относительно центра распределения является следствием смещения нижней гистограммы в противоположную сторону и означает получение завышенных результатов тестирования. Построим теперь характеристические кривые для всех 12 заданий теста, используя соотношение (1). 1,00 0,75 0,50 0,25 0,00 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 Рис. 2. Характеристические кривые заданий (модель Раша) На рис. 2 по горизонтали отложены логиты уровня знаний, по вертикали - вероятности выполнения заданий в зависимости от уровня знаний студента. Трудность задания совпадает с абсциссой точки кривой с ординатой 0,5, то есть точки перегиба. Кривые на рисунке (слева направо) соответствуют зада- ниям: 2, 1, 3, 4, 8, 6 = 9, 5, 10, 7, 12, 11. Оценим результат. В данном случае очевидны значительные провалы между некоторыми кривыми. Более чем на 0,5 логита отличаются друг от друга задания 2 и 1, 1 и 3, 3 и 4, 5 и 10, 7 и 12, 12 и 11. В третью строку таблицы помещены числовые значения разностей трудности ∆β соседних кривых. Согласно приведенным рекомендациям в тест следует добавить хотя бы по одному заданию внутри каждой из этих пар. Совпали кривые заданий 6 и 9, имеющих одинаковую трудность. Это со- вершенно разные по тематике задачи (восстановление мнимой части анали- тической функции по известной ее действительной части и вычисление инте- грала по замкнутому контуру). Так как дублирующие задания не дают допол- нительной информации при измерении данного уровня знаний, то (с точки зрения требований к нормативно-ориентированному тесту) одно из заданий следует исключить [6, 7]. В данном случае предлагается убрать задание 9, по- скольку в тесте остаются похожие по смыслу задания 8 и 10 и тест ничего не проиграет в рамках критериального подхода. Теперь проверим соответствие эмпирических данных модели Раша. Для этого все тестируемые делятся на 11 групп в зависимости от уровня подго- товленности. Затем для каждого из 12 заданий подсчитаем вероятность пра- вильных ответов внутри каждой группы по формуле (2). Получившиеся графики, построенные в единой интервальной шкале ло- гитов для всех 12 заданий теста, представлены на рис. 3 (сплошные линии - согласно модели Раша, точки - результат эксперимента). Дадим предварительную визуальную оценку соответствия эмпирических данных теории. В этом смысле самым удачным оказалось задание 10 (вычис- ление интеграла). Хорошее совпадение с моделью Раша дают также задания 1, 2, 3, 5, 6, 7. Большое скопление точек в верхней части кривой задания 2 (деление комплексных чисел) означает его простоту, наиболее трудным (мно- го точек в нижней части кривой) является задание 11 (определение характера особых точек). К неудачным следует отнести задания 4, 8, 9, 11, 12. Дадим предварительную визуальную оценку соответствия эмпирических данных теории. В этом смысле самым удачным оказалось задание 10 (вычис- ление интеграла). Хорошее совпадение с моделью Раша дают также задания 1, 2, 3, 5, 6, 7. Большое скопление точек в верхней части кривой задания 2 (деление комплексных чисел) означает его простоту, наиболее трудным (мно- го точек в нижней части кривой) является задание 11 (определение характера особых точек). К неудачным следует отнести задания 4, 8, 9, 11, 12. Оценивая дифференцирующую способность задания, строим двухпара- метрическую модель Бирнбаума (3). В этой модели появляется новый параj метр aj . В последней строке таблицы представлены его значения, найденные согласно формуле (4) (rpb взяты из статьи [20]). В соответствии с рекомендациями [7] оставлять задания, для которых aj попадают в диапазон (0,5-2,5), следует переработать либо заменить задачи 1, 2, 4, 11, 12. 1 1 1 2 1 3 0,75 0,75 0,75 0,5 0,5 0,5 0,25 0,25 0,25 0 0 0 -6 -4 -2 0 2 4 6 -6 -4 -2 0 2 4 6 -6 -4 -2 0 2 4 6 4 5 6 1 1 1 0,75 0,75 0,75 0,5 0,5 0,5 0,25 0,25 0,25 0 -6 -4 -2 0 2 4 6 0 -6 -4 -2 0 2 4 6 0 -6 -4 -2 0 2 4 6 7 8 9 1 1 1 0,75 0,75 0,75 0,5 0,5 0,5 0,25 0,25 0,25 0 -6 -4 -2 0 2 4 6 0 -6 -4 -2 0 2 4 6 0 -6 -4 -2 0 2 4 6 10 11 12 1 1 1 0,75 0,75 0,75 0,5 0,5 0,5 0,25 0,25 0,25 0 0 0 -6 -4 -2 0 2 4 6 -6 -4 -2 0 2 4 6 -6 -4 -2 0 2 4 6 Рис. 3. Сравнение эмпирических данных с моделью Раша Сравнивая параметр дифференцирующей способности заданий 6 и 9, имеющих одинаковую трудность aj (a6 = 0,714 > 0,5 = a9), снова делаем вывод в пользу задания 6. 1,00 0,75 0,50 0,25 0,00 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 Рис. 4. Характеристические кривые заданий (двухпараметрическая модель Бирнбаума) На рис. 4 представлены характеристические кривые всех 12 заданий, по- строенные согласно двухпараметрической модели Бирнбаума. Пунктирные линии (слева направо) соответствуют заданиям 2, 1, 4, 12, 11. Эти задания (пологие кривые) имеют низкую дифференцирующую способ- ность по сравнению с остальными (крутыми), причем самым плохим в этом смысле оказалось задание 12 (нахождение вычета функции). 5 4 1 3 I(θ) 2 2 1 0 -6 -4 -2 0 2 4 6 θ Рис. 5. Информационные функции теста Построим теперь информационные функции теста для модели Раша (фор- мула (5)) и двухпараметрической модели Бирнбаума (формула (6)). Результаты представлены на рис. 5. Здесь по горизонтальной оси отложены значения уровня подготовленности 8, по вертикали - значения информационной функции теста I(8) для модели Раша (1) и для двухпараметрической модели Бирнбаума (2). В данном случае, как и полагается для «хорошего» теста, каждая из функций имеет один четко выраженный максимум. Обсуждение и заключение Поскольку целью исследования было выявление недостатков теста и воз- можности их устранения, перечислим только проблемные моменты: нет легких заданий, соответствующих уровню самых слабых студентов; в тесте в целом больше простых, чем сложных заданий, что приводит к завышенным результатам тестирования; характеристические кривые заданий неравномерно заполняют рас- сматриваемый интервал трудностей, с одной стороны есть значительные про- валы между кривыми, а с другой стороны есть совпадение кривых; плохое соответствие эмпирических данных модели Раша у заданий 4, 8, 9, 11, 12; задания 1, 2, 4, 11, 12 имеют низкую дифференцирующую способ- ность. Полученные результаты позволяют сделать ряд выводов по улучшению качества теста. Необходимо преобразовать тест следующим образом: добавить в тест самое простое задание с трудностью, равной (-3) логитам; добиться более плотного распределения заданий по трудности, поместив внутри пар, отли- чающихся по трудности на величину, превосходящую 0,5 логита, новое зада- ние; убрать из теста дублирующее задание 9; задания с плохой различающей способностью (1, 2, 4, 11, 12), среди которых два (4, 12) плохо согласуются с моделью Раша, заменить или переработать. Предложенные действия позволят использовать переработанный тест как надежный инструмент педагогических измерений.

About the authors

Lidia A. Muratova

Samara State Technical University

Email: muratova-la@mail.ru
Cand. Tech. Sci., Associate Professor of Higher Mathematics and Applied Informatics Department. 244, Molodogvardeyskaya St., Samara, 443100, Russia

References

Supplementary files