THE ANALYSIS OF QUALITY OF DOUGH FROM A COURSE OF THE HIGHER MATHEMATICS ON THE SUBJECT "LINEAR ALGEBRA, ANALYTICAL GEOMETRY"

Full Text

Для текущего контроля знаний студентов первого курса Самарского государственного технического университета по теме «Линейная алгебра, аналитическая геометрия» используется тест (табл. 1) закрытого типа, содержащий 20 заданий с выбором единственного правильного ответа из пяти предложенных. Для анализа качества данного теста использовались результаты тестирования студентов факультета автоматики и информационных технологий. Выборка составляла 106 студентов. Проведем математико-статистический анализ качества данного теста с помощью следующих характеристик: надежность, валидность, дискриминативность. Таблица 1 Линейная алгебра и аналитическая геометрия 1 Вычислить: . Ответы: 1) 11; 2) 7; 3) -3; 4) 5; 5) 8. 2 Решить систему уравнений, приняв в качестве базисных переменных и : . Ответы: 1) ; 2) ; 3) ; 4) ; 5) . 3 , , . Какие произведения существуют? Ука-зать все случаи. А) ; Б) ; В) ; Г) ; Д) ; Е) . Ответы: 1) А, Б, Е; 2) Г, Д; 3) А, Б, Д; 4) В, Г, Д; 5) Б, В, Е. 4 Найти сумму элементов второй строки матрицы , если . Ответы: 1) -4; 2) 12; 3) 8; 4) 15; 5) 3. 5 Найти сумму элементов второй строки матрицы , если . Ответы: 1) -3; 2) 0; 3) -2; 4) 3; 5) 2. Продолжение табл. 1 6 Какие матрицы имеют ранг, равный 2? Указать все случаи. А= ; Б= ; В= ; Г= . Ответы: 1) В, Г; 2) А, Г; 3) Б, Г; 4) Б; 5) Б, В. 7 . Вычислить . Ответы: 1) 4; 2) 2; 3) 3; 4) 1; 5) -6. 8 Вектор параллелен вектору . Найти . Ответы: 1) ; 2) ; 3) ; 4) ; 5) . 9 Найти площадь треугольника с вершинами в точках , , . Ответы: 1) 21; 2) 14; 3) 7; 4) 28; 5) 10. 10 Определить, при каком компланарны векторы Ответы: 1) 5; 2) 1,5; 3) 0; 4) 2,5; 5) 1. 11 Какие величины являются векторами? Указать все варианты. А) ; Б) ; В) . Ответы: 1) А; 2) В; 3) А, Б; 4) А, В; 5) все. 12 Выбрать все верные утверждения: А) Множество является подмножеством множества . Б) Множество является подмножеством множества . В) Множество является подмножеством множества . Г) Множество является подмножеством множества . Ответы: 1) В; 2) Б; 3) Б, В; 4) А, Г; 5) А, В. 13 Составить уравнение плоскости, проходящей через точки , , . Ответы: 1) ; 2) ; 3) ; 4) ; 5) . 14 Уравнение прямой, проходящей через точку параллельно вектору , имеет вид… Ответы: 1) ; 2) ; 3) ; 4) ; 5) . 15 Определить, при каком перпендикулярны прямые: , . Ответы: 1) -1; 2) 3; 3) 2; 4) -2; 5) 4. 16 Направляющий вектор прямой пересечения двух плоскостей может иметь координаты… Ответы: 1) ; 2) ; 3) ; 4) ; 5) . 17 Определить , при котором векторы и не образуют базис. Ответы: 1) ; 2) ; 3) ; 4) ; 5) . Окончание табл. 1 18 Найти максимальное из собственных значений матрицы . Ответы: 1) 3; 2) 2; 3) 5; 4) 1; 5) 8. 19 Уравнения асимптот гиперболы имеют вид… Ответы: 1) ; 2) ; 3) ; 4) ; 5) . 20 Найти радиус окружности . Ответы: 1) 4; 2) ; 3) ; 4) 2; 5) 16. Определяя степень надежности теста, оценим трудность каждого задания, посчитав сначала величину pj (отношение количества правильных ответов на j-задание к общему количеству студентов), график которой представлен на рис. 1. Очевидно, что наибольшее число студентов справилось с 1-м заданием, наименьшее - с 16-м заданием. Рис. 1. Мера трудности задания Рассмотрим далее вариацию тестовых заданий ( ), которая должна иметь нормальное распределение. Расположив по оси абсцисс номера заданий в порядке убывания количества правильных ответов, а по оси ординат - вариацию заданий, получим распределение, близкое к нормальному (рис. 2). Рис. 2. Вариация тестовых заданий Числовую характеристику надежности - коэффициент надежности - подсчитываем по трем разным формулам. В первом случае применяем формулу KR-20 [3, 4, 6, 7]: . Здесь M - количество заданий; - дисперсия индивидуальных баллов студентов ; xi - индивидуальный балл испытуемого; - средний балл всех студентов; n - общее число студентов. В результате получаем коэффициент надежности = 0,753. Это приемлемый показатель, так как считается [4, 5], что тест можно использовать, если значение коэффициента надежности не меньше 0,7. Второй способ вычисления коэффициента надежности связан с использованием среднего коэффициента корреляции всех заданий между собой: . (1) Чтобы найти , посчитаем коэффициенты корреляции между заданиями с номерами m и k ( ). Для дихотомических данных (1 - правильный ответ, 0 - неправильный ответ) применяем формулу [2, 4] , где pmk - отношение количества правильных ответов для заданий с номерами m и k к общему количеству студентов. Полученные коэффициенты корреляции образуют корреляционную матрицу - квадратную матрицу размерности , симметричную относительно главной диагонали. В табл. 2 приведены средние значения коэффициентов корреляции для каждого задания . Теперь можно найти средний коэффициент корреляции всех заданий между собой: . Тогда коэффициент надежности согласно формуле (1) равен = 0,824. Таблица 2 Коэффициенты корреляции и индексы дискриминативности A1 A4 A3 A2 A7 A10 А18 A5 A6 А14 A8 A9 А13 А17 А11 А19 А20 А12 А15 А16 0,09 0,11 0,18 0,17 0,24 0,20 0,20 0,17 0,12 0,26 0,24 0,15 0,25 0,26 0,16 0,22 0,25 0,06 0,25 0,22 0,15 0,22 0,41 0,40 0,55 0,46 0,46 0,40 0,29 0,61 0,56 0,34 0,58 0,61 0,38 0,50 0,58 0,13 0,58 0,48 0,07 0,1 0,38 0,59 0,62 0,55 0,59 0,45 0,28 0,83 0,72 0,52 0,69 0,72 0,41 0,55 0,59 0,14 0,62 0,41 Таким образом, и в этом случае получен удовлетворительный результат (0,824>0,7). Что касается коэффициентов корреляции заданий друг с другом, то у качественного теста они не должны быть отрицательными и слишком высокими ( 0,3) [3, 4, 7]. В данном тесте больше всего отрицательных значений для заданий 1, 4 и 12 (теоретический вопрос), поэтому логичным будет или исключить их из теста, или заменить другими. При этом средние значения коэффициента корреляции для каждого задания меньше 0,3, что удовлетворяет требованиям экспертов. При третьем способе определения коэффициента надежности тест расщепляется на две части по четным и нечетным заданиям, затем определяется коэффициент корреляции между этими группами с последующей коррекцией по формуле Спирмена - Брауна [1, 3, 4, 6, 7]. Вычисляя коэффициент корреляции по формуле , где хi и yi - индивидуальные баллы i-го испытуемого в четных и нечетных заданиях соответственно, получаем следующее значение: = 0,631. Вносим поправку с помощью формулы Спирмена - Брауна [1, 4] и получаем = 0,774. Итак, можно сделать вывод, что значения коэффициента корреляции по всем трем формулам удовлетворяют требованиям качественно составленного теста. Переходя к следующему основному критерию качества теста - валидности, отметим, что оценкой коэффициента валидности отдельных заданий может служить точечный бисериальный коэффициент корреляции - коэффициент корреляции каждого задания с тестовым баллом студента (индивидуальным баллом). Значения этих коэффициентов представлены во 2-й строке табл. 2. В расчетах использовалась формула [1, 4] , где n1 - число студентов, выполнивших данное задание; n0 - число студентов, не выполнивших его; n = n1 + n0 - общее количество студентов; - средний индивидуальный балл студентов, справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, справившихся с данным заданием, к n1); - средний индивидуальный балл студентов, не справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, не справившихся с данным заданием, к n0); sx - стандартное отклонение для индивидуальных баллов всех студентов. Для качественного теста точечные бисериальные коэффициенты корреляции должны удовлетворять условию ≥ 0,5 [4]. В данном тесте не все коэффициенты соответствуют этому требованию, особенно опять выделяются 1-е, 4-е и 12-е задания. Чтобы найти общий коэффициент валидности теста, применим формулу . Границы его оценки приведены в работе [5]: 0,2-0,3 - низкое; 0,3-0,5 - среднее; свыше 0,5 - высокое значение. В данном случае общий коэффициент валидности теста равен = 0,434, то есть имеет среднее значение. Рассмотрим еще одну характеристику, с помощью которой проверяется качество составленного теста: дискриминативность - способность задания дифференцировать студентов на лучших и худших [3, 6, 7, 8]. По сравнению с надежностью и валидностью этот критерий не является решающим фактором при оценке заданий в тесте, но если невалидность задания подтверждается еще и низким индексом дискриминативности, то такие задания должны быть удалены из теста. Для вычисления индекса дискриминативности используем формулу [3] , (2) где - отношение количества правильных ответов на j-е задание к 27 % «лучших» студентов по результатам выполнения теста; - отношение количества правильных ответов на j-е задание к 27 % «худ-ших» студентов по результатам выполнения теста. Значения индекса лежат в интервале [-1; 1]. Свое максимальное значение индекс дискриминативности примет в том случае, если все студенты из подгруппы «лучших» верно выполнят j-е задание, а из подгруппы «худших» никто из студентов не сможет выполнить его. Величина = 0, если в обеих подгруппах одинаковое количество студентов выполнят данное задание. И свое наименьшее значение индекс примет, когда в группе «лучших» никто из студентов не решит j-е задание, а в подгруппе «худших» его решат все студенты. Логично будет исключить из теста те задания, для которых величина . Значения индекса , посчитанного для данного теста по формуле (2), представлены в 3-й строке табл. 2. Как видно, индекс дискриминативности для всех заданий положителен, то есть соответствует требованиям экспертов. О дискриминативной способности задания можно судить и по точечному бисериальному коэффициенту корреляции [8]. При оценке дискриминативности в качестве нижней границы для коэффициента следует брать 0,2 [3], удаляя из теста задания с меньшими значениями. В данном случае критериям эксперта не удовлетворяют задания с номерами 1 и 12. В результате проведенного анализа по соответствию качества теста трем критериям - надежности, валидности и дискриминативности - можно сделать выводы: 1) значения коэффициента корреляции, рассчитанные по трем формулам (по формуле KR-20; с помощью среднего коэффициента корреляции всех заданий между собой; путем расщепления теста по четным и нечетным заданиям и последующего определения коэффициента корреляции между этими группами), удовлетворяют требованиям качественно составленного теста; 2) общий коэффициент валидности имеет среднее значение и удовлетворяет требованиям экспертов. В качестве оценки коэффициента валидности отдельных заданий рассматривались точечные бисериальные коэффициенты корреляции. Не все коэффициенты соответствуют критериям экспертов. Для улучшения качества теста предлагается исключить задания 1, 4 и 12, имеющие либо отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента; 3) анализ коэффициентов дискриминативности также говорит в пользу исключения из теста указанных заданий. Таким образом, данный тест можно использовать как средство контроля знаний студентов по теме «Линейная алгебра, аналитическая геометрия» после указанной доработки.

About the authors

Larisa V. Limanova

Samara State Technical University

Email: llv-1@mail.ru

Lidiya Aleksandrovna Muratova

Samara State Technical University

Email: muratova-la@mail.ru

References

Supplementary files