Analysis of plausibility of distractors of pedagogical tests

Abstract

In article features of test tasks of the closed type are considered. The analysis of appeal of distractors of the test tasks applied to monitoring of progress of students on department of the higher mathematics and applied informatics of the Samara state technical university is carried out. The hypothesis of uniform distribution of distractors is checked.

Full Text

Для массового аттестационного тестирования наиболее широко использу- ется закрытая форма тестового задания (задание с выбором одного или не- скольких ответов) [1]. Это объясняется ее универсальностью, так как содер- жание практически любой дисциплины можно трансформировать в задание с выбором ответа. Кроме того, привлекательность закрытой формы связана с быстротой тестирования, с широтой охвата материала и с простотой подсчета итоговых баллов обучаемых. Задание закрытой формы состоит из основного текста, содержащего по- становку задачи, и различных вариантов ответов, где правильные варианты носят название «райтеры», а неправильные - «дистракторы». Разработка заданий с выбором, несмотря на их кажущуюся простоту, яв- ляется сложной задачей. Особые требования предъявляются как к постановке задачи, так и к вариантам ответов. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов. Она должна иметь простую синтаксическую конструкцию: не бо- лее одного предложения из семи-восьми слов. В формулировке недопустима какая-либо неясность или двусмысленность. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Подбор дистракторов имеет не меньшее, а в какой-то степени и большее значение для качества тестового задания. При формулировке ответов не рекомендуется использование выражений «все перечисленные», «ни один из перечисленных» и т. д., а также слов «все», «ни одного», «никогда», «все- гда» и т. п., так как они могут способствовать угадыванию правильного отве- та. Не рекомендуется включать ответы, вытекающие один из другого. Все от- веты к одному заданию должны быть приблизительно одной длины и являть- ся элементами одного множества, одного гомологического ряда (принцип од- нородности). Дистракторы должны отвечать принципу равновероятной при- влекательности и достаточно высокой правдоподобности [2]. Количество дистракторов может варьироваться в зависимости от предпо- чтений составителя теста или от специфики дисциплины, по которой прово- дится тестирование. Оптимальное число неправильных ответов - четыре- пять. Уменьшение этого числа ведет к повышению вероятности угадывания правильного ответа, а увеличение - к громоздкости теста. Кроме того, погоня за количеством дистракторов может существенно снизить качество тестового задания, так как в этом случае неправильные ответы формируются некор- ректно, теряют привлекательность и, следовательно, не выполняют свою функцию. Дистрактор, который никто не выбирает в качестве правильного ответа, называют неработающим. Он подлежит удалению из числа ответов или корректировке. Процесс создания равновероятно привлекательных, «работающих» дис- тракторов технически сложен, поэтому к нему иногда привлекают самих обу- чаемых. Им выдается задание в открытой форме (диагностическая, самостоя- тельная работа), а затем проводится анализ допущенных ошибок и получен- ных при этом ответов. Правдоподобность дистракторов, мера их привлекательности оценивают- ся после первой эмпирической проверки на любой репрезентативной выборке с помощью подсчета долей студентов, выбравших тот или иной неправиль- ный ответ. Идеальная ситуация, когда каждый из дистракторов выбирается одинаковым количеством тестируемых, практически недостижима. Поэтому допустимо несущественное отклонение отдельных долей от идеала в сторону уменьшения или увеличения [3]. На кафедре высшей математики и прикладной информатики Самарского государственного технического университета на протяжении многих лет для мониторинга успеваемости студентов применяются гомогенные педагогиче- ские тесты, состоящие из заданий закрытого типа. Проверим привлекательность дистракторов одного из вариантов теста по теме «Пределы, производные». Тестирование проходили 905 человек, обуча- ющихся на различных факультетах СамГТУ. Для проверки правдоподобности дистракторов случайным образом выбран вариант № 22. Распределение долей ответов представлено в табл. 1 (правильный ответ отмечен звездочкой). Распределение долей ответов Таблица 1 Номер задания Всего чел. 1-й ответ 2-й ответ 3-й ответ 4-й ответ 5-й ответ чел. % чел. % чел. % чел. % чел. % 1 29 1 3,4 1 3,4 3 10 22* 75,8 0 0 2 27 1 3,7 22* 81,5 2 7,4 2 7,4 0 0 3 26 6 2,3 0 0 2 7,7 4 15,3 13* 50 4 22 1 4,5 12* 54,5 1 4,5 3 13,6 5 22,7 5 28 0 0 1 3,6 0 0 27* 96,4 0 0 6 27 0 0 0 0 0 0 0 0 27* 100 7 27 4 14,8 13* 48 6 22,2 3 11,1 1 3,7 8 16 9 56,2 4 25 2 12,5 1 6,25 0 0 9 19 10* 34,5 7 36,8 1 5,3 1 5,3 0 0 10 12 5* 41,7 3 25 3 25 0 0 1 8,3 11 25 2 8 18* 72 2 8 0 0 3 12 12 16 4 25 0 0 10* 62,5 1 6,25 1 6,25 13 15 9* 60 0 0 2 13,3 0 0 4 26,7 Проведем анализ полученных данных. Близкая к идеальной работа дис- тракторов наблюдается в задании № 2, так как большинство студентов (75,8 %), выбрали верный ответ, а оставшиеся 24,2 % распределены равно- мерно между четырьмя неверными. Особо выделяются задания № 5 и 6, в ко- торых не сработал практически ни один из дистракторов. Но это говорит не о низком качестве неверных ответов, а о стремлении к единице трудности данных заданий. Обращает на себя внимание задание № 8, так как среди ответов отсут- ствует правильный (технический сбой при автоматизированном составлении тестового задания). Такая нестандартная ситуация не могла не повлиять на распределение долей ответов. В целом можно заметить, что в большинстве заданий один из дистракторов выбирается чаще остальных. Это объясняется тем, что ошибки, допускаемые студентами при выполнении задания, распределяются неравномерно. Некоторые являются очень распространенными, а другие носят случайный характер. Большое количество нулей, то есть никем не выбранных ответов, свиде- тельствует о наличии дистракторов, непривлекательных для данной выборки испытуемых. Если при повторном тестировании ситуация повторится, то не- удачные ответы следует переработать. Проверим равномерность распределения неверных ответов по критерию Пирсона c 2 . Критическое значение критерия, соответствующее двум степеням свободы и уровню значимости α = 0,05: К c 2 = 5,99. Гипотеза о равномерном распределении дистракторов принимается, если выполняется неравенство c 2 < c 2 , Э К в противном случае требуется корректировка неправильных ответов. c Э Для вычисления 2 (экспериментального) применим формулу n * å( 1 4 c = n 2 Э i i-1 2 - n *) , где 4 - количество дистракторов, ni экспериментальная частота (исходные данные взяты из табл. 1), n* - теоретическая частота, равная отношению числа студентов, ответивших неверно, к четырем [4]. Ре- зультаты вычислений приведены в табл. 2. Номер задания n* χ2 экс 1 1,75 1,54 2 1,25 1,75 3 3,25 2,98 4 2,5 4,4 5 0,25 2,25 6 0 0 7 3,5 3,71 8 4 9,5 9 2,25 11,42 10 1,75 2,11 11 2,5 0,3 12 1,5 4,5 13 1,5 4,33 Э Значения теоретической частоты и c 2 Таблица 2 Сравнивая полученные экспериментальные значения c 2 с критическим, можно сделать вывод, что дистракторы распределяются равномерно во всех заданиях теста, кроме № 8 и № 9. О недостатке задания № 8 было сказано выше. Что касается задания № 9, то оно требует корректировки, причем не обязательно менять ответы; возможно, изменения в основной части задания повлияют на распределение долей при выборе дистракторов. Правдоподобность дистракторов является одной из характеристик теста, оказывающих влияние на его надежность и валидность, поэтому проведение дистракторного анализа необходимо для организации качественного процесса педагогического тестирования [5].