High-quality changes of the pedagogical test "linear algebra, analytical geometry"

Full Text

Проверка знаний студентов - это важная и ответственная часть учебного процесса. В последнее время проверка знаний учащихся осуществляется с помощью тестовых методов. Результаты оценивания должны быть объек- тивными, поэтому педагогический тест должен отвечать определенным тре- бованиям. В номере 2 (26) - 2015 научного журнала «Вестник Самарского государственного технического университета» (СамГТУ) серии «Психолого- педагогические науки» была представлена статья, посвященная анализу каче- ства педагогического теста по теме «Линейная алгебра, аналитическая гео- метрия» из курса высшей математики [1]. В ходе исследований согласно классической теории тестов [2-14] для повышения качества теста было пред- ложено исключить из него или заменить задания 1, 4 и 12, поскольку они ли- бо имели отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента. Авторы изменили первое задание (табл. 1), исключили задание № 12 (теоретический вопрос), а задание № 4 (умножение матриц) было решено оставить без изменения. Но- вый тест теперь состоит из 19 задач (нумерация осталась прежней, чтобы не было путаницы). Для чистоты эксперимента тестирование проводилось на факультете автоматики и информационных технологий СамГТУ (как и в прошлый раз). В тестировании участвовало 136 студентов. Четыре сту- дента справились со всеми заданиями и никакой информации для анализа ос- новных характеристик качества теста не давали, поэтому их тесты были ис- ключены из дальнейшего рассмотрения. Задание № 1, представленное в тестах 2014 и 2015 гг. Таблица 1 2014 г. (старый тест) 2015 г. (новый тест) Вычислить: 230 - 102 0- 2 .1 x - 2z = 1,Для системы уравнений  y - z = 4, найти ∆,∆x , x .2x - y = 5 Многие эксперты в области исследования качества тестов говорят о том, что нормативно-ориентированный тест должен хорошо дифференцировать испытуемых [8, 9, 14], то есть индивидуальные тестовые баллы должны в достаточной степени отличаться друг от друга, а их распределение должно быть близко к нормальному. О дифференцирующей способности теста позво- ляет судить такая величина, как дисперсия тестовых баллов. М.Б. Челышкова [14] считает, что если среднее арифметическое индивидуальных баллов x примерно равно утроенному стандартному отклонению 3sx , то можно считать дисперсию оптимальной, а распределение тестовых баллов близким к нормальному. В рассматриваемом тесте получены именно такие значения: x = 11,9 , 3sx = 12,6 . На рисунке изображен график относительных частот тестовых баллов (сплошная линия), полученных по выборке, и кривая нормального распреде- ления (пунктирная линия). 0,3 0,25 частота 0,2 0,15 0,1 0,05 0 0 5 10 15 20 баллы Относительные частоты Гипотеза о нормальном распределении генеральной совокупности прове- рялась с помощью критерия Пирсона для уровня значимости 0,01. Получен- ное значение оказалось меньше критического. Значит, данные наблюдений согласуются с нормальным распределением генеральной совокупности. Для анализа валидности теста были вычислены значения коэффициентов корреляции jmk заданий друг с другом. По материалам экспертов [7, 9, 12], для качественного теста их величины должны лежать в пределах [0; 0, 3]. В новом тесте нет отрицательных значений jmk и все jmk £0,3. r xy По величине средних значений коэффициента корреляции j (табл. 2) для каждого задания также можно судить о качестве теста. Как видим, все xy значения r j 0,3, следовательно, удовлетворяют требованиям экспертов. A4 A1 A3 A7 A2 A14 А10 A13 A8 А5 A9 A6 А17 А19 А18 А11 А15 А20 А16 j 0,2 0,1 0,1 0,2 0,2 0,2 0,2 0,1 0,2 0,2 0,1 0,1 0,2 0,2 0,3 0,1 0,3 0,1 0,2 3 5 8 1 4 7 5 9 6 4 9 3 8 7 0 6 0 7 8 j 0,4 0,2 0,3 0,4 0,5 0,5 0,5 0,3 0,5 0,5 0,4 0,2 0,6 0,5 0,5 0,3 0,6 0,3 0,5 5 9 6 4 5 5 2 9 4 1 2 9 0 8 9 5 4 7 9 r j 0,42 0,22 0,31 0,50 0,58 0,50 0,44 0,64 0,56 0,53 0,64 0,36 0,75 0,72 0,75 0,39 0,81 0,53 0,69 Коэффициенты корреляции и индексы дискриминативности по результатам тестирования, проведенного в 2015 г. Таблица 2 rxy rpb Как и в предыдущей статье [1], в качестве коэффициента валидности использовался точечный бисериальный коэффициент корреляции r pb j - коэффициент корреляции каждого задания с тестовым баллом студента (индивидуальным баллом). Для вычислений этих коэффициентов применялась формула [3, 9] r j = X1 - X 0 n1 × n0 pb , sx n(n - 1) где n1 - число студентов, выполнивших данное задание; n0 - число студентов, не выполнивших его; n = n1 + n0 - общее количество студентов; X1 - средний индивидуальный балл студентов, справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, справив- шихся с данным заданием, к n1); X 0 - средний индивидуальный балл студентов, не справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, не справившихся с данным заданием, к n0); sx - стандартное отклонение для индивидуальных баллов всех студентов. Для высококачественного теста значения точечных бисериальных коэф- фициентов корреляции должны быть не менее 0,5 [9]. В новом тесте их вели- чины (табл. 2) лежат в средних пределах от 0,3 и выше. Общий коэффициент валидности теста вычисляется по формуле M j å rpb rpb = j =1 . M Оценить его значение помогают интервалы [13]: 0,2-0,3 - низкое; 0,3- 0,5 - среднее; свыше 0,5 - высокое. Для нового теста величина этого коэффициента составляет 0,475 (в прошлый раз rpb = 0,434), то есть в обоих случаях общий коэффициент валидности теста имеет среднее значение, но его величина возросла. Также в прошлой статье анализировалось значение еще одного коэффи- циента - дискриминативности, т. е. способности задания дифференцировать студентов на лучших и худших [7, 8, 12, 14]. Для определения валась формула r j диск использоj j j где rдиск = p1 - p0 , p 1 j - отношение количества правильных ответов на j-е задание к 27 % «лучших» студентов по результатам выполнения теста; p 0 j - отношение количества правильных ответов на j-е задание к 27 % «худших» студентов по результатам выполнения теста. Значения индекса дискриминативности r j диск [7] лежат в интервале [-1; 1]. Из теста рекомендуется исключать те задания, у которых величина r j диск £ 0 . В данном тесте индекс дискриминативности для всех заданий положителен (четвертая строка табл. 2), значит, удовлетворяет критериям экспертов. В качестве индекса дискриминативности можно рассматривать точечный бисериальный коэффициент корреляции r pb j [14]. В экспертной литературе pb говорится, что необходимо удалить из теста те задания, для которых r j < 0,2. Теперь в нашем тесте таких заданий нет (в прошлом тесте это были задания pb с номерами 1 и 12), все r j > 0,2. Таким образом, после рекомендованной доработки качество теста по теме «Линейная алгебра, аналитическая геометрия» повысилось и его можно ис- пользовать в качестве инструмента при оценке знаний студентов при теку- щем контроле.

About the authors

Lidiya A. Muratova

Samara State Technical University

Email: muratova-la@mail.ru
Cand. Tech. Sci., Associate professor of Advanced Mathematics and Applied Information Science Department 244, Molodogvardeyskaya St., Samara, 443100

References

Supplementary files