The analysis of reliability of pedagogical test of a course of mathematics on the subject "Ranks"

Full Text

Для текущего и рубежного контроля знаний студентов на кафедре «Выс- шая математика и прикладная информатика» Самарского государственного технического университета были составлены тесты по всем разделам высшей математики в соответствии с рабочей программой для бакалавров всех специ- альностей университета. Некоторые из них уже проверялись на качество и были исправлены согласно рекомендациям [1-6]. Данная статья посвящена проверке качества педагогического теста по теме «Ряды» (табл. 1). Этот тест содержит 9 заданий, решив которые, студент должен выбрать правильный ответ из пяти предложенных. К основным характеристикам, оценивающим качество педагогического теста, относятся объективность, надежность и валидность [7-12]. Поскольку проверка качества теста является объемным процессом, то в данной статье мы рассмотрим только его часть и проведем анализ надежности педагогиче- ского теста. Тест по теме «Ряды» № Задания Таблица 1 Представить в показательной форме число 1 i i i 1 i i 3i . Ответы: 1) 2e i Вычислить 1 2 5 6 5i . ; 2) 2e 3 ; 3) 3e 6 ; 4) 2e 3 ; 5) 4e 3 i Ответы: 1) 2 ; 2) 1 3 i i i ; 3) 4i ; 4) 5 ; 5) Указать множество точек на комплексной плоскости, удовлетворяющее условию 2 1 1 z i . Ответы: y М(1,-1) y 1) 2) 3) y x 1 2 M x M М(-1,-1) x 3 y 2 1 x .. 2 i Ln( ) . y M x M(-1,1) R1=1 R2=2 Ответы: 1) ln 2 2 k i ; 2) i 2 k ; 3) i ln 2 ; 4) ln 2 2 k ; 5) ln 2 i 2k . 2 2 2 Решить уравнение z4 i 0 и найти возможные значения arg z. k 3 Ответы: 1) 16 2 , k 0 ,3; 2) 3 16 k 0 , k ,3; 3) 3 2 8 k 0 , k ,3; 2 k 3 4) , k 8 2 0 3 ,3; 5) 4 k 0 , k ,3. 2 y x Для аналитической функции f (z) u (x, y) i v(x, y) найти v(x, y) , если известно, что 6 u(x, y) , f(0)=0. Ответы: 1) x ; 2) ; 3) x ; 4) y ; 5) x . y Вычислить интеграл i 7 z2 . 2xi AB y y x 1 z dz , где AB - отрезок прямой между точками z1 , Ответы: 1) 1 2 2 1 i i 2 i ; 2) i ; 3) 2 ; 4) 2 ; 5) 1 i . № Задания Окончание табл. 1 1 5 : z 2 dz Вычислить 2 , z . 8 Ответы: 1) z z 3 i 4 4 ; 2) 3 i ; 3) 9 i i 4 4 ; 4) 0 ; 5) . 9 3 2 4 z 2 dz Вычислить 2 , Г: z . z z 3 9 Ответы: 1) i 4 ; 2) 0; 3) 9 i 4 ; 4) 9 i i 4 4 ; 5) . 3 3 При исследовании качества теста используются методы математической статистики. Для обработки были выбраны работы студентов нефтетехнологиче- ского факультета. Объем выборки составил 235 работ, из которых были исклю- чены 33 работы. Авторы этих работ либо решили все задания теста, либо не справились с заданиями и не решили ни одной задачи. Такие работы исключа- ются из выборки, так как никакой информации о качестве теста не несут. На первом этапе анализа оценим степень трудности каждого задания pj. Эта величина находится по формуле m p j , j n где mj - количество правильных ответов на j-задание; n - общее количество студентов. Графически эта характеристика изображена на рис. 1. Наиболее трудным для решения оказалось девятое задание теста, с ним справилось меньше всего студентов (26 %). А наиболее легким - второе задание теста, но однако не все студенты справились и с ним (лишь 70 %). 0,8 0,7 величина pi 0,6 0,5 0,4 0,3 0,2 0,1 0 A1 A2 A3 A4 A5 A6 A7 A8 A9 номера заданий Рис. 1. Степень трудности задания Данный тест относится к нормативно-ориентированным тестам. Для это- го вида тестов при исследовании качества важной является следующая характеристика - вариация тестовых заданий p j qj , где ( q j 1 p j ). Отсортируем номера заданий в порядке убывания количества правильных ответов и по- строим ее график (рис. 2). Эксперты считают, что ее величина должна нахо- диться около 0,25. Менее всего удовлетворяют этим требованиям опять вто- рое и девятое задания. Поэтому рекомендуется их изменить. 0,3 величина p*q 0,25 0,2 0,15 0,1 0,05 0 A2 A7 A5 A3 A4 A1 A8 A6 A9 номера заданий Рис. 2. Вариация тестовых заданий Для исследования надежности теста применяется коэффициент надежности rt [7 - 10], который вычисляется с помощью формулы KR-20, среднего коэффициента корреляции R и формулы Спирмена - Брауна. Применим формулу KR-20 [8, 9]: r M 1 t M 1 M p j q j , j 1 s 2 x x где M - количество заданий; s2 - исправленная дисперсия индивидуальных 1 n 2 2 баллов студентов: sx n 1 i 1 ( xi x ) ; xi - индивидуальный балл испытуеx n i мого; 1 x средний балл всех студентов; n - общее количество студентов. n i 1 Коэффициент надежности, вычисленный с помощью этой формулы, равен rt = 0,65. Формула для нахождения коэффициента надежности с помощью среднего коэффициента корреляции R всех заданий между собой имеет вид 1 ( r MR , t 1 M )R 1 M r где R j M xy j 1 средний коэффициент корреляции всех заданий между соxy бой; r j среднее значение коэффициентов корреляции для j-го задания. Поэтому сначала надо найти средние значения коэффициентов корреляции для каждого задания xy r j . Их значения приведены в табл. 2. Считается [8], что они должны быть меньше 0,3. Как видно из таблицы, вычисленные коэф- фициенты удовлетворяют требованиям экспертов. Средние значения коэффициентов корреляции Таблица 2 A2 A7 A5 A3 A4 A1 A8 A6 A9 A2 r j xy 0,24 0,29 0,29 0,3 0,28 0,16 0,3 0,22 0,26 0,24 Далее вычисляем средний коэффициент корреляции R 0 ,26 , а затем и коэффициент надежности rt = 0,76. Формула Спирмена - Брауна [8, 11] имеет вид 2r r r 1/ 2 , t 1 где 1/ 2 r - коэффициент корреляции между группами, на которые необходимо 1 / 2 разделить тест по четным и нечетным заданиям. Он вычисляется следующим образом: n n n n xi yi xi yi r i 1 i 1 i 1 , 1/ 2 n n 2 n n 2 x y n x n y 2 2 i i i i i 1 i 1 i 1 i 1 где хi и yi - индивидуальные баллы i-го испытуемого в четных и нечетных за- даниях соответственно. Проделав необходимые вычисления, получаем r = 0,5. Тогда коэффици- 1 / 2 ент надежности rt = 0,67. Итак, мы нашли значения коэффициента надежности с помощью трех формул и получили результат: 0,65, 0,76 и 0,67. Эксперты считают, что его величина должна быть больше 0,7. Только один из коэффициентов удовле- творяет этим требованиям. Для повышения надежности теста эксперты [7, 8, 12] предлагают либо изменить задания, которые снижают коэффициент надежности (а в нашем случае это задания № 2 и № 9), либо увеличить коли- чество заданий в тесте. Посмотрим, на сколько заданий надо увеличить тест. Для этого применяется формула [1] 1 ( r krt t 1 k , )rt где rt - коэффициент надежности до изменения длины теста; rt - коэффициент надежности после изменения; k - кратность изменения. В качестве rt 0,7, а величине rt возьмем требуемую величину коэффициента надежности - зададим наименьшее из полученных значений коэффициента надежности 0 rt ,65. Проведя необходимые вычисления, получим 1 k ,26. Значит, необходимо увеличить тест на две задачи. Таким образом, в ходе исследований вычислялись такие характеристики, как степень трудности каждого задания, вариация тестовых заданий и коэффициент надежности, который определялся с помощью трех формул. Оценка первых двух характеристик показала необходимость изменения второго и девятого за- даний теста. Они также влияют на величину коэффициента надежности (два ре- зультата не удовлетворяют требованиям экспертов). Поэтому для повышения качества теста рекомендуется либо изменить эти задания (второе - усложнить, а девятое - упростить), либо увеличить количество заданий в тесте.

About the authors

Ludmila V. Limanova

Samara State Technical University

Email: llv-1@mail.ru
Cand. Tech. Sci., Associate Professor of Higher Mathematics and Applied Informatics Department 244, Molodogvardeyskaya St., Samara, 443100

References

Supplementary files