Analysis and assessment of the validity dough "theory of functions of the complex variable"

Full Text

Тестирование является основным средством контроля качества обуче- ния. Его преимущества: научная обоснованность теста по количеству и каче- ству предлагаемых заданий, технологичность, точность измерений, объек- тивность при проведении и оценивании результатов [1]. Как бы хорошо ни был составлен тест, как правило, есть возможность его улучшить. С этой целью материалы, полученные по результатам тестиро- вания, подвергаются математико-статистической обработке. Найденные ха- рактеристики анализируются на предмет качества самого теста с помощью существующих теорий, после чего тест подвергается переработке с учетом выявленных недостатков. При этом рекомендуется использовать несколько методик подбора и анализа критериев качества теста и относиться к получен- ным оценкам как к правдоподобным утверждениям, имеющим ту или иную степень достоверности [2]. Научное обоснование качества теста предполагает оценку таких пока- зателей, как надежность, трудность, валидность, дискриминативность. Валидность относится к важнейшим критериям оценки качества теста, занимая второе место после надежности. Рассмотрим этот критерий - валид- ность - более подробно. Сам по себе вопрос о валидности теста считается од- ним из самых сложных. Валидность определяется как понятие, указывающее, что тест измеряет и насколько хорошо он это делает [3]. Иначе, валидность должна показывать, насколько хорошо тест делает то, для чего он был создан [4]. Некоторая неопределенность формулировки этого понятия приводит к разнообразным способам проверки валидности. Понятие валидности вклю- чает в себя разные ее виды, со своим особым смыслом. Так, рассматривают валидность по содержанию, конструктную валидность, критериальную (те- кущую и прогностическую), валидность по распределению, по различающей способности (дискриминативности) [5, 6]. В качестве предмета рассмотрения возьмем тест «Теория функций комплексной переменной» (табл. 1) курса высшей математики СамГТУ. Тест используется при текущем контроле знаний у студентов второго года обуче- ния/ Он включает в себя все темы раздела в соответствии с программой кур- са, состоит из различных по сложности заданий. Это гомогенный тест закры- того типа, к каждому из двенадцати заданий предлагается пять ответов, среди которых лишь один правильный. В данном случае отобраны работы студен- тов нефтетехнологического факультета. После исключения работ студентов, ответивших на все вопросы правильно либо ответивших на все вопросы не- правильно, в выборке осталось 158 работ. Оценим валидность теста по трем критериям: по нормальному распре- делению, по содержанию и по различающей способности [1, 7]. Различают тесты критериально-ориентированные и нормативно- ориентированные. Первые дают возможность определить, в какой степени испытуемые владеют учебным материалом. Вторые позволяют сравнить уровни знаний тестируемых. Существует мнение, что можно получить каче- ственный тест, дающий целостную картину полученных знаний, совмещая оба подхода. Опираясь на эту точку зрения, проанализируем полученные в результате обработки теста результаты. С точки зрения правильно сконструированного нормативно- ориентированного теста кривая распределения индивидуальных баллов должна соответствовать нормальному распределению, то есть быть симмет- ричной и унимодальной, при этом типичным считается результат, когда при- мерно 70 % тестируемых правильно выполняют от 30 до 70 % заданий, а наиболее часто встречается результат 50 % [8]. Для критериально- ориентированного теста нормальное распределение не характерно. Теория функций комплексной переменной Таблица 1 Представить в показательной форме число Вычислить: 1 i . 1  i z  1 3i . Указать множество точек на комплексной плоскости, удовлетворяющее условию z  2i  3 . Вычислить: cos 2i . Решить уравнение z 4  1  0 и найти возможные значения arg z. Для аналитической функции f (z)  u(x, y)  i (x, y) найти  (x, y) , если известно, что u(x, y)  2x  y , f (0)  0 . Вычислить интеграл 1 2z dz , где AB - отрезок прямой между точками AB z1  1, z2  i . Вычислить:  zdz 2 ,  : z  5i  1.  z  1 z  1 Вычислить:  zdz 2 , Г: z 1  1.  z  1 z  1 Вычислить:  zdz 2 , Г: z  3.  z  1 z  1 Для функции f (z)  ez 1 найти особые точки и указать их характер. z2 (z  3) Найти вычет функции f (z)  z cos 1 z относительно точки z  0 (использовать разложение в ряд по степеням z). Кривая распределения относительных частот, полученная для теста по ТФКП, представлена на рисунке. Очевидно, что распределение индивидуаль- ных баллов унимодально и не слишком асимметрично. При этом 70,2 % сту- дентов выполнили от 4 до 9 заданий (то есть от 33 до 75 %), причем наиболее часто встречается результат 6 заданий (половина теста). Это соответствует об указанной градации нормального распределения и позволяет сделать вы- вод о том, что распределение баллов близко к нормальному. Кривая распределения относительных частот тестовых баллов Содержательная валидность определяется в качестве показателя «ре- презентативности содержания теста по отношению к запланированным для проверки знаниям и умениям» [2]. Что касается рассматриваемого теста, то составители постарались включить в него наиболее важные темы рабочей программы курса. При этом учитывалась значимость поднимаемых вопросов, а также правиль- ность пропорций при подборе заданий [8]. Выполнение данного теста тре- бует достаточно глубоких знаний и серьезной подготовки со стороны ст у- дентов. Для нормативно-ориентированного теста содержательная валид- ность предполагает еще и высокую дифференциацию результатов - разли- чающую способность. Различающая способность (дискриминативность) - это возможность теста дифференцировать студентов по уровню знаний. Чем выше дифферен- цирующая способность теста, тем выше его валидность [7]. Один из способов оценки различающей способности состоит в рас- смотрении ее числовой характеристики - точечного бисериального коэффициента корреляции r pb j . Это коэффициент корреляции каждого задания с тестовым баллом студента (индивидуальным баллом). Его величину можно рас- считать по одной из формул, дающих близкие значения [8, 9]: r j  X1  X 0 n1  n0 , r j  X1  X p , r j  X1  X 0 pb S x n(n 1) pb S x 1 p pb S x p(1 p) . Здесь X1 - средний индивидуальный балл студентов, справившихся с данным заданием; X 0 - средний индивидуальный балл студентов, не справившихся с данным заданием; X - среднее значение баллов по всей выборке; S x - стандартное отклонение для индивидуальных баллов всех студентов; n1 - число студентов, выполнивших данное задание; n0 - число студентов, не выполнивших его; n  n1  n0 - общее количество студентов; p - трудность задания (доля правильных ответов). В результате расчетов r pb j по всем трем формулам получены идентичные результаты, представленные в табл. 2. Таблица 2 Коэффициенты валидности и дискриминативности заданий № 1 2 3 4 5 6 7 8 9 10 11 12 r j pb 0,396 0,44 0,58 0,355 0,547 0,581 0,569 0,52 0,447 0,599 0,365 0,283 r jдиск 0,302 0,256 0,628 0,419 0,628 0,767 0,721 0,628 0,581 0,791 0,349 0,349 При оценке различающей способности теста абсолютно непригодными считают задания, для которых r pb j  0 , а кандидатами на удаление - те, для которых r pb j  0,2 [2]. Таких заданий в тесте нет. В соответствии с классической теорией тестов [6, 7] приемлемым показателем качества считается значение r pb j  0,3. В тесте это условие не выполняется для задания № 12 pb ( r12  0,283 ). Согласно другой точке зрения [2], валидными считают задания с коэффициентами дискриминативности r pb j ≥ 0,5. Половина заданий исследуемого теста удовлетворяют этому условию. В то же время среднее значение точечного бисериального коэффициента корреляции значительно меньше 0,5. (r pb j )ср.  0,473 , то есть не- Рассмотрим подробнее задание № 12 - нахождение вычета в существен- но особой точке. По мнению составителей, оно достаточно уникально и его не- желательно удалять из теста, что соответствует мнению некоторых авторов [7], pb считающих, что в этом случае можно сохранить задание, если даже r j  0,1. Другой способ оценки различающей способности связан с анализом коэффициента дискриминативности r j диск задания j. Эта величина определяется как разность между долей правильных ответов p 1 j среди 27 % «лучших» и долей неправильных ответов 8]. Таким образом, p 0 j среди 27 % «худших» студентов [1, 2, 6, 7, j j j rдиск  p1  p0 . Согласно градации в классической тестовой теории [6] задание считается вполне эффективным при r j диск  0,4 ; удовлетворительным, когда диск 0,3  r j  0,39 ; если диск 0,2  r j  0,29 , то задание следует анализировать на пригодность; наконец, если переработать. r j диск  0,19 , то задание нужно изъять либо Коэффициенты дискриминативности r j диск , представленные в последней строке табл. 2, позволяют сделать вывод о том, что только задание № 2 требует анализа на пригодность, восемь заданий попадают в разряд вполне эффективных и три задания - в разряд удовлетворительных. Скорее всего, задание № 2 (деление комплексных чисел) оказалось слишком простым и следует подумать о его переработке. Задание № 12, имеющее низкий точеч- ный бисериальный коэффициент корреляции, на этот раз попадает в разряд удовлетворительных. Среднее значение коэффициента дискриминативности (r j диск )ср.  0,535 . Таким образом, оценивая валидность теста «Теория функций комплексной переменной» по нормальному распределению, по содержанию и по различающей способности, приходим к следующим выводам. Проведенный анализ показывает, что кривая распределения баллов близка к нормальной кривой - распределению Гаусса. Оценивая валидность по содержанию, можно отметить, что в тесте представлены основные темы раздела, требующие достаточно глубоких зна- ний по изучаемой дисциплине. При исследовании различающей способности (дискриминативности) по точечному бисериальному коэффициенту r pb j оказалось, что в разряд приемлемых не попадает только задание № 12 (если в качестве критической точ- ки брать 0,3). Если валидность оценивать по коэффициенту дискриминативности r j диск , то лишь задание № 2 требует анализа на пригодность. Предлагается сохранить задание № 12 и переработать задание № 2.

About the authors

Lidiya A. Muratova

Samara State Technical University

Email: muratova-la@mail.ru
Cand. Tech. Sci., Associate Professor of Higher Mathematics and Applied Informatics. 244, Molodogvardeyskaya Str., Samara, 443100

References

Supplementary files