Улучшение качества педагогического теста из курса высшей математики по теме «интегральное исчисление»

Полный текст

В настоящее время тестовые технологии рассматриваются в качестве мощного инструмента оценки и контроля качества образования. Использова- ние педагогического тестирования позволяет наиболее качественно и объек- тивно оценить уровень подготовленности каждого обучающегося. Для этого тест должен удовлетворять определенным требованиям. В качестве основных критериев качества теста используются надежность, валидность и дискрими- нативность [1-8]. Эти характеристики рассчитываются с помощью математи- ческих методов статистики. В данной публикации исследуется надежность педагогического теста по теме «Интегральное исчисление» курса высшей математики [9]. Он ис- пользуется для текущего контроля знаний студентов первого курса Самар- ского государственного технического университета. Этот тест относится к тестам закрытого типа и содержит 10 заданий с выбором единственного правильного ответа из пяти предложенных. Для обработки результатов те- стирования были выбраны работы студентов нефтетехнологического факуль- тета университета. В тестировании участвовали 203 студента. Как и в предыдущих статьях [1, 2], в начале анализа исследуем степень трудности каждого задания. Для этого найдем величину pj, равную отноше- нию количества правильных ответов на j-е задание к общему количеству сту- дентов. График этой характеристики представлен на рис. 1. Из него видно, что наибольшее число студентов справилось со 2-м заданием, наименьшее - с 9-м заданием. 0,7 0,6 величина pi 0,5 0,4 0,3 0,2 0,1 0 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 номера заданий Рис. 1. Мера трудности задания Далее рассмотрим следующую важную характеристику - вариацию тестовых заданий p j × qj ( q j = 1 - p j ). Отсортируем номера заданий в порядке убывания количества правильных ответов (ось абсцисс) и построим график вариации заданий (ось ординат) (рис. 2). Эксперты считают, что ее величина должна быть в районе 0,25, что для нормативно-ориентированных тестов считается наиболее удачным. В нашем случае величина вариации удовлетво- ряет их требованиям. 0,3 величина p*q 0,25 0,2 0,15 0,1 0,05 0 A2 A1 A7 A8 A3 A4 A6 A10 A5 A9 номера заданий Рис. 2. Вариация тестовых заданий В качестве числовой характеристики надежности данного теста рассматривают коэффициент надежности rt [3 - 6]. Для расчета его значения применяют несколько формул. Сначала найдем коэффициент надежности с помо- щью формулы KR-20 [4, 5]: æ M ö ç å p j q j ÷ r M ç j =1 ÷ , (1) s t = ç1 - 2 ÷ M - 1 ç x ÷ è ø x где M - количество заданий; s2 - исправленная дисперсия индивидуальных баллов студентов: s2 = 1 x n n 1 2 å( xi - x) i =1 ; xi - индивидуальный балл испытуе- 1 n мого; x = å xi n i =1 средний балл всех студентов; n - общее количество студентов. Тогда коэффициент надежности согласно формуле (1) равен rt = 0,665. Следующая формула определения коэффициента надежности записыва- ется с помощью среднего коэффициента корреляции R всех заданий между собой: rt = MR . (2) 1 + (M - 1)R Здесь R = 1 M xy år j - средний коэффициент корреляции всех заданий между M j =1 xy собой; r j среднее значение коэффициентов корреляции для j-го задания. Так как наши данные представлены в виде дихотомического ряда (1 - правильный ответ, 0 - неправильный ответ), коэффициенты корреляции jmk заданиями с номерами m и k ( m = 1, M , k = 1, M ) находим по формуле [4] между jmk = pmk - pm pk , pmqm pk qk где pmk - отношение количества правильных ответов для заданий с номерами m и k к общему количеству студентов. Для качественно составленного теста значения коэффициентов корреляции jmk должны быть меньше 0,3. Кроме того, задания не должны давать отрицательную корреляцию с большим количеством других заданий [4]. В дан- ном тесте отрицательных значений коэффициентов корреляции немного и практически все jmk < 0,3, что удовлетворяет требованиям экспертов. xy В таблице приведены средние значения коэффициентов корреляции для каж- дого задания r j . xy Средние значения коэффициентов корреляции для r j A2 A1 A7 A8 A3 A4 A6 A10 A5 A9 0,266 0,265 0,262 0,281 0,243 0,259 0,208 0,257 0,159 0,278 В результате получаем R = 0,248 , rt = 0,767. Третий способ определения коэффициента надежности основан на при- менении формулы Спирмена - Брауна [4, 7]: rt = 2r 1/ 2 1 + r 1/ 2 . (3) Этот метод заключается в следующем: тест разделяется на две части по четным и нечетным заданиям, затем находится коэффициент корреляции r между этими группами по формуле 1/ 2 n æ n ö æ n ö r 1/ 2 nå xi yi - ç å xi ÷ × ç å yi ÷ = i =1 è i =1 ø è i =1 ø , ö ö ö ö æ æ n n ç 2 æ 2 æ n n 2 ÷ ç 2 ÷ ç nå xi ç å xi ÷ ÷ × ç nå yi ç å yi ÷ ÷ è i =1 è i =1 ø ø è i =1 è i =1 ø ø где хi и yi - индивидуальные баллы i-го испытуемого в четных и нечетных за- даниях соответственно. В нашем случае коэффициент корреляции r равен 0,527, значит, коэф- 1/ 2 фициент надежности согласно формуле (3) rt = 0,691. Как видим, все величины коэффициента надежности примерно равны. Но требуемому значению (больше 0,7) соответствует только коэффициент надежности, рассчитанный по формуле (2). Во многих источниках сказано [3, 4, 8], что для повышения надежности теста необходимо либо изменить задания, которые снижают коэффициент надежности, либо увеличить количество заданий в тесте. Чтобы определить, на сколько заданий надо увеличить тест, применяется формула [4] rt¢= krt , 1 + (k - 1)rt где rt коэффициент надежности до изменения длины теста; rt коэффициент надежности после изменения; k - кратность изменения. Найдем значение k, взяв в качестве rt наименьшее из полученных значений коэффициента надежности rt = 0,665 , и зададим новое значение rt = 0,7 . В результате получим еще две задачи. k = 1,18 . Значит, к 10 задачам теста следует добавить Таким образом, в результате проведенных исследований качества педагогического теста «Интегральное исчисление» можно сделать вывод, что не все коэффициенты надежности, рассчитанные по трем формулам, соответствуют требованиям экспертов. Для повышения качества теста рекомендуется, например, увеличить количество заданий в тесте (до 12).

Об авторах

Лариса Владимировна Лиманова

Самарский государственный технический университет

Email: llv-1@mail.ru
кандидат технических наук, доцент кафедры высшей математики и прикладной информатики. 443100, г. Самара, ул. Молодогвардейская, 244

Список литературы

Дополнительные файлы