High-quality changes of the pedagogical test "linear algebra, analytical geometry"


Cite item

Abstract

In this article according to the classical theory characteristics of validity and discriminative of the pedagogical test "Linear Algebra, Analytical Geometry" of a course of the higher mathematics of Samara State Technical University were estimated. Results of researches showed that all coefficients of correlation of tasks are with each other positive and don't surpass the size 0,3 that is considered a good indicator. Values of dot biserial coefficient of correlation of tasks with test point of the student changed. It influenced such characteristics of dough as a validity and a diskriminativnost. And, at last, by means of Pearson's criterion the positive result about normal distribution of test points is received.

Full Text

Проверка знаний студентов - это важная и ответственная часть учебного процесса. В последнее время проверка знаний учащихся осуществляется с помощью тестовых методов. Результаты оценивания должны быть объек- тивными, поэтому педагогический тест должен отвечать определенным тре- бованиям. В номере 2 (26) - 2015 научного журнала «Вестник Самарского государственного технического университета» (СамГТУ) серии «Психолого- педагогические науки» была представлена статья, посвященная анализу каче- ства педагогического теста по теме «Линейная алгебра, аналитическая гео- метрия» из курса высшей математики [1]. В ходе исследований согласно классической теории тестов [2-14] для повышения качества теста было пред- ложено исключить из него или заменить задания 1, 4 и 12, поскольку они ли- бо имели отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента. Авторы изменили первое задание (табл. 1), исключили задание № 12 (теоретический вопрос), а задание № 4 (умножение матриц) было решено оставить без изменения. Но- вый тест теперь состоит из 19 задач (нумерация осталась прежней, чтобы не было путаницы). Для чистоты эксперимента тестирование проводилось на факультете автоматики и информационных технологий СамГТУ (как и в прошлый раз). В тестировании участвовало 136 студентов. Четыре сту- дента справились со всеми заданиями и никакой информации для анализа ос- новных характеристик качества теста не давали, поэтому их тесты были ис- ключены из дальнейшего рассмотрения. Задание № 1, представленное в тестах 2014 и 2015 гг. Таблица 1 2014 г. (старый тест) 2015 г. (новый тест) Вычислить: 230 - 102 0- 2 .1 x - 2z = 1,Для системы уравнений  y - z = 4, найти ∆,∆x , x .2x - y = 5 Многие эксперты в области исследования качества тестов говорят о том, что нормативно-ориентированный тест должен хорошо дифференцировать испытуемых [8, 9, 14], то есть индивидуальные тестовые баллы должны в достаточной степени отличаться друг от друга, а их распределение должно быть близко к нормальному. О дифференцирующей способности теста позво- ляет судить такая величина, как дисперсия тестовых баллов. М.Б. Челышкова [14] считает, что если среднее арифметическое индивидуальных баллов x примерно равно утроенному стандартному отклонению 3sx , то можно считать дисперсию оптимальной, а распределение тестовых баллов близким к нормальному. В рассматриваемом тесте получены именно такие значения: x = 11,9 , 3sx = 12,6 . На рисунке изображен график относительных частот тестовых баллов (сплошная линия), полученных по выборке, и кривая нормального распреде- ления (пунктирная линия). 0,3 0,25 частота 0,2 0,15 0,1 0,05 0 0 5 10 15 20 баллы Относительные частоты Гипотеза о нормальном распределении генеральной совокупности прове- рялась с помощью критерия Пирсона для уровня значимости 0,01. Получен- ное значение оказалось меньше критического. Значит, данные наблюдений согласуются с нормальным распределением генеральной совокупности. Для анализа валидности теста были вычислены значения коэффициентов корреляции jmk заданий друг с другом. По материалам экспертов [7, 9, 12], для качественного теста их величины должны лежать в пределах [0; 0, 3]. В новом тесте нет отрицательных значений jmk и все jmk £0,3. r xy По величине средних значений коэффициента корреляции j (табл. 2) для каждого задания также можно судить о качестве теста. Как видим, все xy значения r j 0,3, следовательно, удовлетворяют требованиям экспертов. A4 A1 A3 A7 A2 A14 А10 A13 A8 А5 A9 A6 А17 А19 А18 А11 А15 А20 А16 j 0,2 0,1 0,1 0,2 0,2 0,2 0,2 0,1 0,2 0,2 0,1 0,1 0,2 0,2 0,3 0,1 0,3 0,1 0,2 3 5 8 1 4 7 5 9 6 4 9 3 8 7 0 6 0 7 8 j 0,4 0,2 0,3 0,4 0,5 0,5 0,5 0,3 0,5 0,5 0,4 0,2 0,6 0,5 0,5 0,3 0,6 0,3 0,5 5 9 6 4 5 5 2 9 4 1 2 9 0 8 9 5 4 7 9 r j 0,42 0,22 0,31 0,50 0,58 0,50 0,44 0,64 0,56 0,53 0,64 0,36 0,75 0,72 0,75 0,39 0,81 0,53 0,69 Коэффициенты корреляции и индексы дискриминативности по результатам тестирования, проведенного в 2015 г. Таблица 2 rxy rpb Как и в предыдущей статье [1], в качестве коэффициента валидности использовался точечный бисериальный коэффициент корреляции r pb j - коэффициент корреляции каждого задания с тестовым баллом студента (индивидуальным баллом). Для вычислений этих коэффициентов применялась формула [3, 9] r j = X1 - X 0 n1 × n0 pb , sx n(n - 1) где n1 - число студентов, выполнивших данное задание; n0 - число студентов, не выполнивших его; n = n1 + n0 - общее количество студентов; X1 - средний индивидуальный балл студентов, справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, справив- шихся с данным заданием, к n1); X 0 - средний индивидуальный балл студентов, не справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, не справившихся с данным заданием, к n0); sx - стандартное отклонение для индивидуальных баллов всех студентов. Для высококачественного теста значения точечных бисериальных коэф- фициентов корреляции должны быть не менее 0,5 [9]. В новом тесте их вели- чины (табл. 2) лежат в средних пределах от 0,3 и выше. Общий коэффициент валидности теста вычисляется по формуле M j å rpb rpb = j =1 . M Оценить его значение помогают интервалы [13]: 0,2-0,3 - низкое; 0,3- 0,5 - среднее; свыше 0,5 - высокое. Для нового теста величина этого коэффициента составляет 0,475 (в прошлый раз rpb = 0,434), то есть в обоих случаях общий коэффициент валидности теста имеет среднее значение, но его величина возросла. Также в прошлой статье анализировалось значение еще одного коэффи- циента - дискриминативности, т. е. способности задания дифференцировать студентов на лучших и худших [7, 8, 12, 14]. Для определения валась формула r j диск использоj j j где rдиск = p1 - p0 , p 1 j - отношение количества правильных ответов на j-е задание к 27 % «лучших» студентов по результатам выполнения теста; p 0 j - отношение количества правильных ответов на j-е задание к 27 % «худших» студентов по результатам выполнения теста. Значения индекса дискриминативности r j диск [7] лежат в интервале [-1; 1]. Из теста рекомендуется исключать те задания, у которых величина r j диск £ 0 . В данном тесте индекс дискриминативности для всех заданий положителен (четвертая строка табл. 2), значит, удовлетворяет критериям экспертов. В качестве индекса дискриминативности можно рассматривать точечный бисериальный коэффициент корреляции r pb j [14]. В экспертной литературе pb говорится, что необходимо удалить из теста те задания, для которых r j < 0,2. Теперь в нашем тесте таких заданий нет (в прошлом тесте это были задания pb с номерами 1 и 12), все r j > 0,2. Таким образом, после рекомендованной доработки качество теста по теме «Линейная алгебра, аналитическая геометрия» повысилось и его можно ис- пользовать в качестве инструмента при оценке знаний студентов при теку- щем контроле.
×

About the authors

Lidiya A. Muratova

Samara State Technical University

Email: muratova-la@mail.ru
Cand. Tech. Sci., Associate professor of Advanced Mathematics and Applied Information Science Department 244, Molodogvardeyskaya St., Samara, 443100

References

  1. Лиманова Л.В., Муратова Л.А. Анализ качества теста из курса высшей математики по теме «Линейная алгебра, аналитическая геометрия» // Вестник Самарского государственного технического университета. Сер. Психолого- педагогические науки. - 2015. - № 2(26). - С. 113-122.
  2. Аванесов В.С. Десятилетний юбилей журнала «Педагогические измерения» // Педагогические измерения. - 2014. - № 3. - С. 3-43.
  3. Ащепкова Л.Я. Материалы к семинару по обработке результатов тестирования // Региональный центр проблем качества при ДВГУ, Владивосток. - 2001.
  4. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976. - 496 с.
  5. Ефремова Н.Ф., Звонников В.И., Челышкова М.Б. Педагогические измерения в системе образования // Педагогика. - 2006. - № 2. - С. 14-22.
  6. Жилина Е.В. Анализ применяемых моделей и методов тестирования для оценки знаний специалиста // Zprávy vědecké ideje - 2011: materiály VII mezinárodní vědecko-praktická konference. 27 října - 05 listopadu 2011 roku. Díl 4. Ekonomické vědy. Praha: Publishing House «Education and Science» s.r.o. 2011. - C. 53-62.
  7. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
  8. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Наука и образование: электронное научно-техническое издание. - 2011. - № 04. - 2011. - 28 с.
  9. Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.
  10. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов / Под общ. ред. В.И. Звонникова, М.Б. Челышковой. - М.: Логос, 2010. - 668 с.
  11. Морев И.А. Образовательные информационные технологии. Ч. 2 // Педагогические измерения. - Владивосток: Изд-во Дальневост. ун-та, 2004. - 174 с.
  12. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения. - Донецк: ДонГУ, 1991. - 168 с.
  13. Психологическая диагностика / Под ред. К.М. Гуревича, Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 c.
  14. Челышкова М.Б. Теория и практика конструирования педагогических тестов. - M.: Логос, 2002. - 432 c.
  15. Лиманова Л.В., Муратова Л.А. Статистический анализ качества теста из курса высшей математики по теме «Пределы. Производные» // Вестник Самарского государственного технического университета. Сер. Психолого-педагогические науки. - 2015. - № 1(25). - С. 143-151.

Copyright (c) 2016 Muratova L.A.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies