The analysis of reliability of pedagogical test of a course of mathematics on the subject "Ranks"


Cite item

Abstract

This work is devoted to the analysis of quality of pedagogical dough on the subject "Ranks" of a course of mathematics which is applied to check of level of knowledge of students at the first year of SAMGTU. Researches of three characteristics of dough were for this purpose conducted: degree of difficulty of each task, variation of test tasks and reliability. The coefficient of reliability was calculated on three formulas: by means of a formula KR-20, average coefficient of correlation of all tasks among themselves and on Spirmena-Brown's formula. In the analysis of the turned-out results it appeared that values of coefficients of reliability aren't rather high. Therefore for improvement of quality of dough it is recommended or to change the tasks influencing decrease of coefficient of reliability or to increase quantity of tasks in the test (as showed researches - on two tasks).

Full Text

Для текущего и рубежного контроля знаний студентов на кафедре «Выс- шая математика и прикладная информатика» Самарского государственного технического университета были составлены тесты по всем разделам высшей математики в соответствии с рабочей программой для бакалавров всех специ- альностей университета. Некоторые из них уже проверялись на качество и были исправлены согласно рекомендациям [1-6]. Данная статья посвящена проверке качества педагогического теста по теме «Ряды» (табл. 1). Этот тест содержит 9 заданий, решив которые, студент должен выбрать правильный ответ из пяти предложенных. К основным характеристикам, оценивающим качество педагогического теста, относятся объективность, надежность и валидность [7-12]. Поскольку проверка качества теста является объемным процессом, то в данной статье мы рассмотрим только его часть и проведем анализ надежности педагогиче- ского теста. Тест по теме «Ряды» № Задания Таблица 1 Представить в показательной форме число 1 i i i 1 i i 3i . Ответы: 1) 2e i Вычислить 1 2 5 6 5i . ; 2) 2e 3 ; 3) 3e 6 ; 4) 2e 3 ; 5) 4e 3 i Ответы: 1) 2 ; 2) 1 3 i i i ; 3) 4i ; 4) 5 ; 5) Указать множество точек на комплексной плоскости, удовлетворяющее условию 2 1 1 z i . Ответы: y М(1,-1) y 1) 2) 3) y x 1 2 M x M М(-1,-1) x 3 y 2 1 x .. 2 i Ln( ) . y M x M(-1,1) R1=1 R2=2 Ответы: 1) ln 2 2 k i ; 2) i 2 k ; 3) i ln 2 ; 4) ln 2 2 k ; 5) ln 2 i 2k . 2 2 2 Решить уравнение z4 i 0 и найти возможные значения arg z. k 3 Ответы: 1) 16 2 , k 0 ,3; 2) 3 16 k 0 , k ,3; 3) 3 2 8 k 0 , k ,3; 2 k 3 4) , k 8 2 0 3 ,3; 5) 4 k 0 , k ,3. 2 y x Для аналитической функции f (z) u (x, y) i v(x, y) найти v(x, y) , если известно, что 6 u(x, y) , f(0)=0. Ответы: 1) x ; 2) ; 3) x ; 4) y ; 5) x . y Вычислить интеграл i 7 z2 . 2xi AB y y x 1 z dz , где AB - отрезок прямой между точками z1 , Ответы: 1) 1 2 2 1 i i 2 i ; 2) i ; 3) 2 ; 4) 2 ; 5) 1 i . № Задания Окончание табл. 1 1 5 : z 2 dz Вычислить 2 , z . 8 Ответы: 1) z z 3 i 4 4 ; 2) 3 i ; 3) 9 i i 4 4 ; 4) 0 ; 5) . 9 3 2 4 z 2 dz Вычислить 2 , Г: z . z z 3 9 Ответы: 1) i 4 ; 2) 0; 3) 9 i 4 ; 4) 9 i i 4 4 ; 5) . 3 3 При исследовании качества теста используются методы математической статистики. Для обработки были выбраны работы студентов нефтетехнологиче- ского факультета. Объем выборки составил 235 работ, из которых были исклю- чены 33 работы. Авторы этих работ либо решили все задания теста, либо не справились с заданиями и не решили ни одной задачи. Такие работы исключа- ются из выборки, так как никакой информации о качестве теста не несут. На первом этапе анализа оценим степень трудности каждого задания pj. Эта величина находится по формуле m p j , j n где mj - количество правильных ответов на j-задание; n - общее количество студентов. Графически эта характеристика изображена на рис. 1. Наиболее трудным для решения оказалось девятое задание теста, с ним справилось меньше всего студентов (26 %). А наиболее легким - второе задание теста, но однако не все студенты справились и с ним (лишь 70 %). 0,8 0,7 величина pi 0,6 0,5 0,4 0,3 0,2 0,1 0 A1 A2 A3 A4 A5 A6 A7 A8 A9 номера заданий Рис. 1. Степень трудности задания Данный тест относится к нормативно-ориентированным тестам. Для это- го вида тестов при исследовании качества важной является следующая характеристика - вариация тестовых заданий p j qj , где ( q j 1 p j ). Отсортируем номера заданий в порядке убывания количества правильных ответов и по- строим ее график (рис. 2). Эксперты считают, что ее величина должна нахо- диться около 0,25. Менее всего удовлетворяют этим требованиям опять вто- рое и девятое задания. Поэтому рекомендуется их изменить. 0,3 величина p*q 0,25 0,2 0,15 0,1 0,05 0 A2 A7 A5 A3 A4 A1 A8 A6 A9 номера заданий Рис. 2. Вариация тестовых заданий Для исследования надежности теста применяется коэффициент надежности rt [7 - 10], который вычисляется с помощью формулы KR-20, среднего коэффициента корреляции R и формулы Спирмена - Брауна. Применим формулу KR-20 [8, 9]: r M 1 t M 1 M p j q j , j 1 s 2 x x где M - количество заданий; s2 - исправленная дисперсия индивидуальных 1 n 2 2 баллов студентов: sx n 1 i 1 ( xi x ) ; xi - индивидуальный балл испытуеx n i мого; 1 x средний балл всех студентов; n - общее количество студентов. n i 1 Коэффициент надежности, вычисленный с помощью этой формулы, равен rt = 0,65. Формула для нахождения коэффициента надежности с помощью среднего коэффициента корреляции R всех заданий между собой имеет вид 1 ( r MR , t 1 M )R 1 M r где R j M xy j 1 средний коэффициент корреляции всех заданий между соxy бой; r j среднее значение коэффициентов корреляции для j-го задания. Поэтому сначала надо найти средние значения коэффициентов корреляции для каждого задания xy r j . Их значения приведены в табл. 2. Считается [8], что они должны быть меньше 0,3. Как видно из таблицы, вычисленные коэф- фициенты удовлетворяют требованиям экспертов. Средние значения коэффициентов корреляции Таблица 2 A2 A7 A5 A3 A4 A1 A8 A6 A9 A2 r j xy 0,24 0,29 0,29 0,3 0,28 0,16 0,3 0,22 0,26 0,24 Далее вычисляем средний коэффициент корреляции R 0 ,26 , а затем и коэффициент надежности rt = 0,76. Формула Спирмена - Брауна [8, 11] имеет вид 2r r r 1/ 2 , t 1 где 1/ 2 r - коэффициент корреляции между группами, на которые необходимо 1 / 2 разделить тест по четным и нечетным заданиям. Он вычисляется следующим образом: n n n n xi yi xi yi r i 1 i 1 i 1 , 1/ 2 n n 2 n n 2 x y n x n y 2 2 i i i i i 1 i 1 i 1 i 1 где хi и yi - индивидуальные баллы i-го испытуемого в четных и нечетных за- даниях соответственно. Проделав необходимые вычисления, получаем r = 0,5. Тогда коэффици- 1 / 2 ент надежности rt = 0,67. Итак, мы нашли значения коэффициента надежности с помощью трех формул и получили результат: 0,65, 0,76 и 0,67. Эксперты считают, что его величина должна быть больше 0,7. Только один из коэффициентов удовле- творяет этим требованиям. Для повышения надежности теста эксперты [7, 8, 12] предлагают либо изменить задания, которые снижают коэффициент надежности (а в нашем случае это задания № 2 и № 9), либо увеличить коли- чество заданий в тесте. Посмотрим, на сколько заданий надо увеличить тест. Для этого применяется формула [1] 1 ( r krt t 1 k , )rt где rt - коэффициент надежности до изменения длины теста; rt - коэффициент надежности после изменения; k - кратность изменения. В качестве rt 0,7, а величине rt возьмем требуемую величину коэффициента надежности - зададим наименьшее из полученных значений коэффициента надежности 0 rt ,65. Проведя необходимые вычисления, получим 1 k ,26. Значит, необходимо увеличить тест на две задачи. Таким образом, в ходе исследований вычислялись такие характеристики, как степень трудности каждого задания, вариация тестовых заданий и коэффициент надежности, который определялся с помощью трех формул. Оценка первых двух характеристик показала необходимость изменения второго и девятого за- даний теста. Они также влияют на величину коэффициента надежности (два ре- зультата не удовлетворяют требованиям экспертов). Поэтому для повышения качества теста рекомендуется либо изменить эти задания (второе - усложнить, а девятое - упростить), либо увеличить количество заданий в тесте.
×

About the authors

Ludmila V. Limanova

Samara State Technical University

Email: llv-1@mail.ru
Cand. Tech. Sci., Associate Professor of Higher Mathematics and Applied Informatics Department 244, Molodogvardeyskaya St., Samara, 443100

References

  1. Лиманова Л.В., Муратова Л.А. Статистический анализ качества теста из курса высшей математики по теме «Пределы. Производные» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 1(25). - С. 143-151.
  2. Лиманова Л.В., Муратова Л.А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого- педагогические науки. - 2015. - № 2(26). - С. 113-122.
  3. Муратова Л.А. Валидность и дискриминативность при исследовании и оценке качества теста «Интегральное исчисление» // Научный альманах. - 2016. - № 6- 1(19). - С. 323-326.
  4. Лиманова Л.В. Повышение надежности педагогического теста «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2016. - № 2(30). - С. 75-81.
  5. Лиманова Л.В. Улучшение качества педагогического теста из курса высшей математики по теме «Интегральное исчисление» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2016. - № 3(31). - С. 54-60.
  6. Лиманова Л.В. Проверка качества педагогического теста по высшей математике по теме «Теория функции комплексной переменной» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2017. - № 2(34). - С. 56-65.
  7. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
  8. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.
  9. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Наука и образование: электронное научно-техническое издание. Вып. 04/2011. - 28 с.
  10. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учеб. пособие. - Донецк: ДонГУ, 1991. - 168 с.
  11. Ащепкова Л.Я. Материалы к семинару по обработке результатов тестирования // Региональный центр проблем качества при ДВГУ. - Владивосток, 2001.
  12. Психологическая диагностика: Учеб. пособие / Под ред. К.М. Гуревича, Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 c.

Copyright (c) 2017 Limanova L.V.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies