Increase of reliability of the pedagogical test "linear algebra, analytical geometry"


Cite item

Abstract

Quality of pedagogical dough is estimated by means of characteristics of reliability, a validity and diskriminativnost. This article is devoted to the analysis of reliability of the processed pedagogical test "Linear Algebra, Analytical Geometry" of a course of the higher mathematics of the Samara state technical university. Results of researches showed that in the new test, unlike former, all coefficients of correlation of tasks are with each other positive and don't surpass the size 0,3 that is considered a good indicator. In comparison with old dough reliability increased (more than 0,8), so the test became more better.

Full Text

Педагогические тесты служат инструментом оценки и контроля знаний обучающихся. И это должен быть качественный инструмент, который позво- лит получить достоверные результаты. Анализу качества педагогического те- ста по теме «Линейная алгебра, аналитическая геометрия» из курса высшей математики была посвящена статья, представленная в номере 2 (26) - 2015 научного журнала «Вестник Самарского государственного технического уни- верситета» (СамГТУ) серии «Психолого-педагогические науки» [1]. В этой статье согласно классической теории тестов [2-14] была выполнена статисти- ческая обработка и проведен анализ результатов на соответствие характери- стик теста научно обоснованным критериям качества. Известно, что процесс создания тестов включает в себя ряд этапов [6, 8, 14]. Следующим этапом яв- ляется чистка теста, замена и добавление новых заданий. В упомянутой ста- тье была предложена коррекция содержания теста для оптимизации таких по- казателей, как надежность и валидность. В частности, рекомендовалось ис- ключить из теста или заменить задания 1, 4 и 12, поскольку они либо имели отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента. Как следствие, был подго- товлен новый тест со следующими коррективами. Было изменено задание № 1: если в старом тесте оно касалось вычисления определителя третьего по- рядка (с ним справилось слишком большое количество студентов - 93 %, что для нормативно-ориентированного теста нежелательно [6, 9]), то в новом те- сте это задание на применение формул Крамера к решению системы линей- ных уравнений (табл. 1). Задание № 4 (умножение матриц) составители по- считали целесообразным сохранить. Задание № 12 (теоретический вопрос) исключено, так как отрицательно коррелировало со многими другими зада- ниями, что, очевидно, связано с угадыванием. Новый тест, содержащий те- перь 19 задач (нумерация осталась прежней, чтобы не было путаницы), для чистоты эксперимента был апробирован на студентах того же факультета - автоматики и информационных технологий СамГТУ. В тестировании участ- вовало 136 студентов. Четыре студента справились со всеми заданиями и ни- какой информации для анализа основных характеристик качества теста не давали, поэтому их тесты были исключены из дальнейшего рассмотрения. Задание № 1, представленное в тестах 2014 и 2015 гг. Таблица 1 2014 г. (старый тест) 2015 г. (новый тест) Вычислить: 230 - 102 0- 21 . x - 2z = 1,Для системы уравнений  y - z = 4, найти ∆, ∆x , x .2x - y = 5 Проанализируем получившиеся результаты. Для определения трудности каждого задания найдем величину pj (отношение количества правильных отве- тов на j-е задание к общему количеству студентов), график которой представлен на рис. 1. Наибольшее количество студентов справилось с 4-м заданием (85 %). С новым первым заданием справились 84 % (против 93 % в старом тесте). Как и ранее, наименьшее число студентов справилось с 16-м заданием. 0,9 0,8 величина pi 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 А11 А13 А14 А15 А16 А17 А18 А19 А20 номера заданий Рис. 1. Мера трудности задания На рис. 2 представлен график вариации тестовых заданий. Ее величина определяется как p j × q j ( q j = 1- p j ). По оси абсцисс расположены номера заданий в порядке убывания количества правильных ответов, а по оси орди- нат - вариация (дисперсия) заданий. Здесь довольно много заданий средней трудности ( p j × q j = 0,25 ). Для нормативно-ориентированных тестов именно такие задачи считаются наиболее удачными [2, 8, 9, 11]. 0,3 вел ич ина p*q 0,25 0,2 0,15 0,1 0,05 0 A4 A1 A3 A7 A2 A14 A10 A13 A8 A5 A9 A6 A17 A19 A18 A11 A15 A20 A16 номера заданий Рис. 2. Вариация тестовых заданий Как и ранее [1, 15], коэффициенты надежности вычислялись тремя методами. 1. По формуле KR-20 [7 - 9, 12]: æ M ö ç å p j q j ÷ r = M ç1 j=1 ÷ , s t M - 1 ç 2 ÷ ç x ÷ è ø где M - количество заданий; 2 sx - дисперсия индивидуальных баллов студентов 1 n 2 2 sx = n - 1 å( xi - x ) ; i=1 xi - индивидуальный балл испытуемого; 1 n x = å xi n i=1 - средний балл всех студентов; n - общее число студентов. С помощью среднего коэффициента корреляции всех заданий между собой [4, 9]: rt = MR , 1+ ( M - 1)R где R - средний коэффициент корреляции всех заданий между собой: M j årxy R = j =1 . M Путем расщепления теста по четным и нечетным заданиям и последующего определения коэффициента корреляции формуле [3, 7, 9] r1/ 2 между этими группами по n æ n ö æ n ö r1/ 2 nå xi yi - ç å xi ÷ × ç å yi ÷ = i =1 èi =1 ø èi =1 ø , ö ö ö ö æ æ n n ç 2 æ 2 æ n n 2 ÷ ç 2 ÷ ç nå xi ç å xi ÷ ÷ × ç nå yi ç å yi ÷ ÷ è i =1 è i =1 ø ø è i =1 è i =1 ø ø где хi и yi - индивидуальные баллы i-го испытуемого в четных и нечетных за- даниях соответственно. Так как этот коэффициент корреляции соответствует только половине теста, необходимо скорректировать его в соответствии с формулой Спирмена - Брауна rt = 2r1 / 2 . 1 + r1/ 2 Для сравнения полученные результаты представлены в табл. 2. Коэффициенты надежности по результатам тестирования, проведенного в 2014 и 2015 гг. Таблица 2 Метод 2014 г.(старый тест) 2015 г.(новый тест) Формула KR-20 0,753 0,813 С помощью среднего коэффициента корреляции 0,824 0,847 Расщепление теста 0,774 0,837 Как видно из таблицы, все значения коэффициентов надежности увели- чились, то есть качество теста повысилось. Следовательно, его можно ис- пользовать как достаточно эффективное средство объективного контроля знаний студентов.
×

About the authors

Larisa V. Limanova

Samara State Technical University

Email: llv-1@mail.ru
Cand. Tech. Sci., Associate professor of Advanced Mathematics and Applied Information Science Department. 443100, Samara, Molodogvardeyskaya St., 244

References

  1. Лиманова Л.В., Муратова Л.А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого- педагогические науки. - 2015. - № 2(26). - С. 113-122.
  2. Аванесов В.С. Десятилетний юбилей журнала «Педагогические измерения» // Педагогические измерения. - 2014. - № 3. - С. 3-43.
  3. Ащепкова Л.Я. Материалы к семинару по обработке результатов тестирования // Региональный центр проблем качества при ДВГУ. - Владивосток, 2001.
  4. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976. - 496 с.
  5. Ефремова Н.Ф., Звонников В.И., Челышкова М.Б. Педагогические измерения в системе образования // Педагогика. - 2006. - № 2. - С. 14-22.
  6. Жилина Е.В. Анализ применяемых моделей и методов тестирования для оценки знаний специалиста // Zprávy vědecké ideje - 2011: materiály VII mezinárodní vědecko-praktická konference. 27 října - 05 listopadu 2011 roku. Díl 4. Ekonomické vědy. Praha: Publishing House «Education and Science» s.r.o. 2011. - C. 53-62.
  7. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
  8. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Наука и образование: электронное научно-техническое издание. - 2011. - № 04. - 28 с.
  9. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.
  10. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов / Под общ. ред. В.И. Звонникова, М.Б. Челышковой. - М.: Логос, 2010. - 668 с.
  11. Морев И. А. Образовательные информационные технологии. Ч. 2 // Педагогические измерения. - Владивосток: Изд-во Дальневост. ун-та, 2004. - 174 с.
  12. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения. - Донецк: ДонГУ, 1991. - 168 с.
  13. Психологическая диагностика / Под ред. К.М. Гуревича, Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 c.
  14. Челышкова М.Б. Теория и практика конструирования педагогических тестов. - M.: Логос, 2002. - 432 c.
  15. Лиманова Л.В., Муратова Л.А. Статистический анализ качества теста из курса высшей математики по теме «Пределы. Производные» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 1(25). - С. 143-151.

Copyright (c) 2016 Limanova L.V.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies