Increase of reliability of the pedagogical test "linear algebra, analytical geometry"

Full Text

Педагогические тесты служат инструментом оценки и контроля знаний обучающихся. И это должен быть качественный инструмент, который позво- лит получить достоверные результаты. Анализу качества педагогического те- ста по теме «Линейная алгебра, аналитическая геометрия» из курса высшей математики была посвящена статья, представленная в номере 2 (26) - 2015 научного журнала «Вестник Самарского государственного технического уни- верситета» (СамГТУ) серии «Психолого-педагогические науки» [1]. В этой статье согласно классической теории тестов [2-14] была выполнена статисти- ческая обработка и проведен анализ результатов на соответствие характери- стик теста научно обоснованным критериям качества. Известно, что процесс создания тестов включает в себя ряд этапов [6, 8, 14]. Следующим этапом яв- ляется чистка теста, замена и добавление новых заданий. В упомянутой ста- тье была предложена коррекция содержания теста для оптимизации таких по- казателей, как надежность и валидность. В частности, рекомендовалось ис- ключить из теста или заменить задания 1, 4 и 12, поскольку они либо имели отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента. Как следствие, был подго- товлен новый тест со следующими коррективами. Было изменено задание № 1: если в старом тесте оно касалось вычисления определителя третьего по- рядка (с ним справилось слишком большое количество студентов - 93 %, что для нормативно-ориентированного теста нежелательно [6, 9]), то в новом те- сте это задание на применение формул Крамера к решению системы линей- ных уравнений (табл. 1). Задание № 4 (умножение матриц) составители по- считали целесообразным сохранить. Задание № 12 (теоретический вопрос) исключено, так как отрицательно коррелировало со многими другими зада- ниями, что, очевидно, связано с угадыванием. Новый тест, содержащий те- перь 19 задач (нумерация осталась прежней, чтобы не было путаницы), для чистоты эксперимента был апробирован на студентах того же факультета - автоматики и информационных технологий СамГТУ. В тестировании участ- вовало 136 студентов. Четыре студента справились со всеми заданиями и ни- какой информации для анализа основных характеристик качества теста не давали, поэтому их тесты были исключены из дальнейшего рассмотрения. Задание № 1, представленное в тестах 2014 и 2015 гг. Таблица 1 2014 г. (старый тест) 2015 г. (новый тест) Вычислить: 230 - 102 0- 21 . x - 2z = 1,Для системы уравнений  y - z = 4, найти ∆, ∆x , x .2x - y = 5 Проанализируем получившиеся результаты. Для определения трудности каждого задания найдем величину pj (отношение количества правильных отве- тов на j-е задание к общему количеству студентов), график которой представлен на рис. 1. Наибольшее количество студентов справилось с 4-м заданием (85 %). С новым первым заданием справились 84 % (против 93 % в старом тесте). Как и ранее, наименьшее число студентов справилось с 16-м заданием. 0,9 0,8 величина pi 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 А11 А13 А14 А15 А16 А17 А18 А19 А20 номера заданий Рис. 1. Мера трудности задания На рис. 2 представлен график вариации тестовых заданий. Ее величина определяется как p j × q j ( q j = 1- p j ). По оси абсцисс расположены номера заданий в порядке убывания количества правильных ответов, а по оси орди- нат - вариация (дисперсия) заданий. Здесь довольно много заданий средней трудности ( p j × q j = 0,25 ). Для нормативно-ориентированных тестов именно такие задачи считаются наиболее удачными [2, 8, 9, 11]. 0,3 вел ич ина p*q 0,25 0,2 0,15 0,1 0,05 0 A4 A1 A3 A7 A2 A14 A10 A13 A8 A5 A9 A6 A17 A19 A18 A11 A15 A20 A16 номера заданий Рис. 2. Вариация тестовых заданий Как и ранее [1, 15], коэффициенты надежности вычислялись тремя методами. 1. По формуле KR-20 [7 - 9, 12]: æ M ö ç å p j q j ÷ r = M ç1 j=1 ÷ , s t M - 1 ç 2 ÷ ç x ÷ è ø где M - количество заданий; 2 sx - дисперсия индивидуальных баллов студентов 1 n 2 2 sx = n - 1 å( xi - x ) ; i=1 xi - индивидуальный балл испытуемого; 1 n x = å xi n i=1 - средний балл всех студентов; n - общее число студентов. С помощью среднего коэффициента корреляции всех заданий между собой [4, 9]: rt = MR , 1+ ( M - 1)R где R - средний коэффициент корреляции всех заданий между собой: M j årxy R = j =1 . M Путем расщепления теста по четным и нечетным заданиям и последующего определения коэффициента корреляции формуле [3, 7, 9] r1/ 2 между этими группами по n æ n ö æ n ö r1/ 2 nå xi yi - ç å xi ÷ × ç å yi ÷ = i =1 èi =1 ø èi =1 ø , ö ö ö ö æ æ n n ç 2 æ 2 æ n n 2 ÷ ç 2 ÷ ç nå xi ç å xi ÷ ÷ × ç nå yi ç å yi ÷ ÷ è i =1 è i =1 ø ø è i =1 è i =1 ø ø где хi и yi - индивидуальные баллы i-го испытуемого в четных и нечетных за- даниях соответственно. Так как этот коэффициент корреляции соответствует только половине теста, необходимо скорректировать его в соответствии с формулой Спирмена - Брауна rt = 2r1 / 2 . 1 + r1/ 2 Для сравнения полученные результаты представлены в табл. 2. Коэффициенты надежности по результатам тестирования, проведенного в 2014 и 2015 гг. Таблица 2 Метод 2014 г.(старый тест) 2015 г.(новый тест) Формула KR-20 0,753 0,813 С помощью среднего коэффициента корреляции 0,824 0,847 Расщепление теста 0,774 0,837 Как видно из таблицы, все значения коэффициентов надежности увели- чились, то есть качество теста повысилось. Следовательно, его можно ис- пользовать как достаточно эффективное средство объективного контроля знаний студентов.

About the authors

Larisa V. Limanova

Samara State Technical University

Email: llv-1@mail.ru
Cand. Tech. Sci., Associate professor of Advanced Mathematics and Applied Information Science Department. 443100, Samara, Molodogvardeyskaya St., 244

References

Supplementary files