Анализ правдоподобности дистракторов педагогических тестов

Аннотация

Рассматриваются особенности тестовых заданий закрытого типа. Проводится анализ привлекательности дистракторов тестовых заданий, применяемых для мониторинга успеваемости студентов на кафедре высшей математики и прикладной информатики Самарского государственного технического университета. Проверяется гипотеза о равномерном распределении дистракторов.

Полный текст

Для массового аттестационного тестирования наиболее широко использу- ется закрытая форма тестового задания (задание с выбором одного или не- скольких ответов) [1]. Это объясняется ее универсальностью, так как содер- жание практически любой дисциплины можно трансформировать в задание с выбором ответа. Кроме того, привлекательность закрытой формы связана с быстротой тестирования, с широтой охвата материала и с простотой подсчета итоговых баллов обучаемых. Задание закрытой формы состоит из основного текста, содержащего по- становку задачи, и различных вариантов ответов, где правильные варианты носят название «райтеры», а неправильные - «дистракторы». Разработка заданий с выбором, несмотря на их кажущуюся простоту, яв- ляется сложной задачей. Особые требования предъявляются как к постановке задачи, так и к вариантам ответов. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов. Она должна иметь простую синтаксическую конструкцию: не бо- лее одного предложения из семи-восьми слов. В формулировке недопустима какая-либо неясность или двусмысленность. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Подбор дистракторов имеет не меньшее, а в какой-то степени и большее значение для качества тестового задания. При формулировке ответов не рекомендуется использование выражений «все перечисленные», «ни один из перечисленных» и т. д., а также слов «все», «ни одного», «никогда», «все- гда» и т. п., так как они могут способствовать угадыванию правильного отве- та. Не рекомендуется включать ответы, вытекающие один из другого. Все от- веты к одному заданию должны быть приблизительно одной длины и являть- ся элементами одного множества, одного гомологического ряда (принцип од- нородности). Дистракторы должны отвечать принципу равновероятной при- влекательности и достаточно высокой правдоподобности [2]. Количество дистракторов может варьироваться в зависимости от предпо- чтений составителя теста или от специфики дисциплины, по которой прово- дится тестирование. Оптимальное число неправильных ответов - четыре- пять. Уменьшение этого числа ведет к повышению вероятности угадывания правильного ответа, а увеличение - к громоздкости теста. Кроме того, погоня за количеством дистракторов может существенно снизить качество тестового задания, так как в этом случае неправильные ответы формируются некор- ректно, теряют привлекательность и, следовательно, не выполняют свою функцию. Дистрактор, который никто не выбирает в качестве правильного ответа, называют неработающим. Он подлежит удалению из числа ответов или корректировке. Процесс создания равновероятно привлекательных, «работающих» дис- тракторов технически сложен, поэтому к нему иногда привлекают самих обу- чаемых. Им выдается задание в открытой форме (диагностическая, самостоя- тельная работа), а затем проводится анализ допущенных ошибок и получен- ных при этом ответов. Правдоподобность дистракторов, мера их привлекательности оценивают- ся после первой эмпирической проверки на любой репрезентативной выборке с помощью подсчета долей студентов, выбравших тот или иной неправиль- ный ответ. Идеальная ситуация, когда каждый из дистракторов выбирается одинаковым количеством тестируемых, практически недостижима. Поэтому допустимо несущественное отклонение отдельных долей от идеала в сторону уменьшения или увеличения [3]. На кафедре высшей математики и прикладной информатики Самарского государственного технического университета на протяжении многих лет для мониторинга успеваемости студентов применяются гомогенные педагогиче- ские тесты, состоящие из заданий закрытого типа. Проверим привлекательность дистракторов одного из вариантов теста по теме «Пределы, производные». Тестирование проходили 905 человек, обуча- ющихся на различных факультетах СамГТУ. Для проверки правдоподобности дистракторов случайным образом выбран вариант № 22. Распределение долей ответов представлено в табл. 1 (правильный ответ отмечен звездочкой). Распределение долей ответов Таблица 1 Номер задания Всего чел. 1-й ответ 2-й ответ 3-й ответ 4-й ответ 5-й ответ чел. % чел. % чел. % чел. % чел. % 1 29 1 3,4 1 3,4 3 10 22* 75,8 0 0 2 27 1 3,7 22* 81,5 2 7,4 2 7,4 0 0 3 26 6 2,3 0 0 2 7,7 4 15,3 13* 50 4 22 1 4,5 12* 54,5 1 4,5 3 13,6 5 22,7 5 28 0 0 1 3,6 0 0 27* 96,4 0 0 6 27 0 0 0 0 0 0 0 0 27* 100 7 27 4 14,8 13* 48 6 22,2 3 11,1 1 3,7 8 16 9 56,2 4 25 2 12,5 1 6,25 0 0 9 19 10* 34,5 7 36,8 1 5,3 1 5,3 0 0 10 12 5* 41,7 3 25 3 25 0 0 1 8,3 11 25 2 8 18* 72 2 8 0 0 3 12 12 16 4 25 0 0 10* 62,5 1 6,25 1 6,25 13 15 9* 60 0 0 2 13,3 0 0 4 26,7 Проведем анализ полученных данных. Близкая к идеальной работа дис- тракторов наблюдается в задании № 2, так как большинство студентов (75,8 %), выбрали верный ответ, а оставшиеся 24,2 % распределены равно- мерно между четырьмя неверными. Особо выделяются задания № 5 и 6, в ко- торых не сработал практически ни один из дистракторов. Но это говорит не о низком качестве неверных ответов, а о стремлении к единице трудности данных заданий. Обращает на себя внимание задание № 8, так как среди ответов отсут- ствует правильный (технический сбой при автоматизированном составлении тестового задания). Такая нестандартная ситуация не могла не повлиять на распределение долей ответов. В целом можно заметить, что в большинстве заданий один из дистракторов выбирается чаще остальных. Это объясняется тем, что ошибки, допускаемые студентами при выполнении задания, распределяются неравномерно. Некоторые являются очень распространенными, а другие носят случайный характер. Большое количество нулей, то есть никем не выбранных ответов, свиде- тельствует о наличии дистракторов, непривлекательных для данной выборки испытуемых. Если при повторном тестировании ситуация повторится, то не- удачные ответы следует переработать. Проверим равномерность распределения неверных ответов по критерию Пирсона c 2 . Критическое значение критерия, соответствующее двум степеням свободы и уровню значимости α = 0,05: К c 2 = 5,99. Гипотеза о равномерном распределении дистракторов принимается, если выполняется неравенство c 2 < c 2 , Э К в противном случае требуется корректировка неправильных ответов. c Э Для вычисления 2 (экспериментального) применим формулу n * å( 1 4 c = n 2 Э i i-1 2 - n *) , где 4 - количество дистракторов, ni экспериментальная частота (исходные данные взяты из табл. 1), n* - теоретическая частота, равная отношению числа студентов, ответивших неверно, к четырем [4]. Ре- зультаты вычислений приведены в табл. 2. Номер задания n* χ2 экс 1 1,75 1,54 2 1,25 1,75 3 3,25 2,98 4 2,5 4,4 5 0,25 2,25 6 0 0 7 3,5 3,71 8 4 9,5 9 2,25 11,42 10 1,75 2,11 11 2,5 0,3 12 1,5 4,5 13 1,5 4,33 Э Значения теоретической частоты и c 2 Таблица 2 Сравнивая полученные экспериментальные значения c 2 с критическим, можно сделать вывод, что дистракторы распределяются равномерно во всех заданиях теста, кроме № 8 и № 9. О недостатке задания № 8 было сказано выше. Что касается задания № 9, то оно требует корректировки, причем не обязательно менять ответы; возможно, изменения в основной части задания повлияют на распределение долей при выборе дистракторов. Правдоподобность дистракторов является одной из характеристик теста, оказывающих влияние на его надежность и валидность, поэтому проведение дистракторного анализа необходимо для организации качественного процесса педагогического тестирования [5].