Analysis and assessment of the validity dough "theory of functions of the complex variable"
- Authors: Muratova L.A.1
-
Affiliations:
- Samara State Technical University
- Issue: Vol 14, No 2 (2017)
- Pages: 66-73
- Section: Articles
- URL: https://vestnik-pp.samgtu.ru/1991-8569/article/view/52263
- ID: 52263
Cite item
Full Text
Abstract
In article the analysis of quality of the "Theory of Functions of a Complex Variable" test is carried out. The dough validity in normal way to distribution, according to the contents, on the distinguishing ability is estimated. The look and proportions of a curve of distribution of the gained points testifies in favor of normal distribution. The test rather fully and deeply reflects the studied material that allows to draw a conclusion on its substantial validity. For quality check of dough on the distinguishing ability two numerical characteristics for each task are found: dot biserial coefficient and coefficient of a diskriminativnost’. The subsequent analysis showed that only two tasks don't satisfy to one of goodness conditions. Thus average value of that different authors offer was considered as a critical point. Having analyzed the maintenance of tasks, it is offered to process one of them, and to keep another.
Keywords
Full Text
Тестирование является основным средством контроля качества обуче- ния. Его преимущества: научная обоснованность теста по количеству и каче- ству предлагаемых заданий, технологичность, точность измерений, объек- тивность при проведении и оценивании результатов [1]. Как бы хорошо ни был составлен тест, как правило, есть возможность его улучшить. С этой целью материалы, полученные по результатам тестиро- вания, подвергаются математико-статистической обработке. Найденные ха- рактеристики анализируются на предмет качества самого теста с помощью существующих теорий, после чего тест подвергается переработке с учетом выявленных недостатков. При этом рекомендуется использовать несколько методик подбора и анализа критериев качества теста и относиться к получен- ным оценкам как к правдоподобным утверждениям, имеющим ту или иную степень достоверности [2]. Научное обоснование качества теста предполагает оценку таких пока- зателей, как надежность, трудность, валидность, дискриминативность. Валидность относится к важнейшим критериям оценки качества теста, занимая второе место после надежности. Рассмотрим этот критерий - валид- ность - более подробно. Сам по себе вопрос о валидности теста считается од- ним из самых сложных. Валидность определяется как понятие, указывающее, что тест измеряет и насколько хорошо он это делает [3]. Иначе, валидность должна показывать, насколько хорошо тест делает то, для чего он был создан [4]. Некоторая неопределенность формулировки этого понятия приводит к разнообразным способам проверки валидности. Понятие валидности вклю- чает в себя разные ее виды, со своим особым смыслом. Так, рассматривают валидность по содержанию, конструктную валидность, критериальную (те- кущую и прогностическую), валидность по распределению, по различающей способности (дискриминативности) [5, 6]. В качестве предмета рассмотрения возьмем тест «Теория функций комплексной переменной» (табл. 1) курса высшей математики СамГТУ. Тест используется при текущем контроле знаний у студентов второго года обуче- ния/ Он включает в себя все темы раздела в соответствии с программой кур- са, состоит из различных по сложности заданий. Это гомогенный тест закры- того типа, к каждому из двенадцати заданий предлагается пять ответов, среди которых лишь один правильный. В данном случае отобраны работы студен- тов нефтетехнологического факультета. После исключения работ студентов, ответивших на все вопросы правильно либо ответивших на все вопросы не- правильно, в выборке осталось 158 работ. Оценим валидность теста по трем критериям: по нормальному распре- делению, по содержанию и по различающей способности [1, 7]. Различают тесты критериально-ориентированные и нормативно- ориентированные. Первые дают возможность определить, в какой степени испытуемые владеют учебным материалом. Вторые позволяют сравнить уровни знаний тестируемых. Существует мнение, что можно получить каче- ственный тест, дающий целостную картину полученных знаний, совмещая оба подхода. Опираясь на эту точку зрения, проанализируем полученные в результате обработки теста результаты. С точки зрения правильно сконструированного нормативно- ориентированного теста кривая распределения индивидуальных баллов должна соответствовать нормальному распределению, то есть быть симмет- ричной и унимодальной, при этом типичным считается результат, когда при- мерно 70 % тестируемых правильно выполняют от 30 до 70 % заданий, а наиболее часто встречается результат 50 % [8]. Для критериально- ориентированного теста нормальное распределение не характерно. Теория функций комплексной переменной Таблица 1 Представить в показательной форме число Вычислить: 1 i . 1 i z 1 3i . Указать множество точек на комплексной плоскости, удовлетворяющее условию z 2i 3 . Вычислить: cos 2i . Решить уравнение z 4 1 0 и найти возможные значения arg z. Для аналитической функции f (z) u(x, y) i (x, y) найти (x, y) , если известно, что u(x, y) 2x y , f (0) 0 . Вычислить интеграл 1 2z dz , где AB - отрезок прямой между точками AB z1 1, z2 i . Вычислить: zdz 2 , : z 5i 1. z 1 z 1 Вычислить: zdz 2 , Г: z 1 1. z 1 z 1 Вычислить: zdz 2 , Г: z 3. z 1 z 1 Для функции f (z) ez 1 найти особые точки и указать их характер. z2 (z 3) Найти вычет функции f (z) z cos 1 z относительно точки z 0 (использовать разложение в ряд по степеням z). Кривая распределения относительных частот, полученная для теста по ТФКП, представлена на рисунке. Очевидно, что распределение индивидуаль- ных баллов унимодально и не слишком асимметрично. При этом 70,2 % сту- дентов выполнили от 4 до 9 заданий (то есть от 33 до 75 %), причем наиболее часто встречается результат 6 заданий (половина теста). Это соответствует об указанной градации нормального распределения и позволяет сделать вы- вод о том, что распределение баллов близко к нормальному. Кривая распределения относительных частот тестовых баллов Содержательная валидность определяется в качестве показателя «ре- презентативности содержания теста по отношению к запланированным для проверки знаниям и умениям» [2]. Что касается рассматриваемого теста, то составители постарались включить в него наиболее важные темы рабочей программы курса. При этом учитывалась значимость поднимаемых вопросов, а также правиль- ность пропорций при подборе заданий [8]. Выполнение данного теста тре- бует достаточно глубоких знаний и серьезной подготовки со стороны ст у- дентов. Для нормативно-ориентированного теста содержательная валид- ность предполагает еще и высокую дифференциацию результатов - разли- чающую способность. Различающая способность (дискриминативность) - это возможность теста дифференцировать студентов по уровню знаний. Чем выше дифферен- цирующая способность теста, тем выше его валидность [7]. Один из способов оценки различающей способности состоит в рас- смотрении ее числовой характеристики - точечного бисериального коэффициента корреляции r pb j . Это коэффициент корреляции каждого задания с тестовым баллом студента (индивидуальным баллом). Его величину можно рас- считать по одной из формул, дающих близкие значения [8, 9]: r j X1 X 0 n1 n0 , r j X1 X p , r j X1 X 0 pb S x n(n 1) pb S x 1 p pb S x p(1 p) . Здесь X1 - средний индивидуальный балл студентов, справившихся с данным заданием; X 0 - средний индивидуальный балл студентов, не справившихся с данным заданием; X - среднее значение баллов по всей выборке; S x - стандартное отклонение для индивидуальных баллов всех студентов; n1 - число студентов, выполнивших данное задание; n0 - число студентов, не выполнивших его; n n1 n0 - общее количество студентов; p - трудность задания (доля правильных ответов). В результате расчетов r pb j по всем трем формулам получены идентичные результаты, представленные в табл. 2. Таблица 2 Коэффициенты валидности и дискриминативности заданий № 1 2 3 4 5 6 7 8 9 10 11 12 r j pb 0,396 0,44 0,58 0,355 0,547 0,581 0,569 0,52 0,447 0,599 0,365 0,283 r jдиск 0,302 0,256 0,628 0,419 0,628 0,767 0,721 0,628 0,581 0,791 0,349 0,349 При оценке различающей способности теста абсолютно непригодными считают задания, для которых r pb j 0 , а кандидатами на удаление - те, для которых r pb j 0,2 [2]. Таких заданий в тесте нет. В соответствии с классической теорией тестов [6, 7] приемлемым показателем качества считается значение r pb j 0,3. В тесте это условие не выполняется для задания № 12 pb ( r12 0,283 ). Согласно другой точке зрения [2], валидными считают задания с коэффициентами дискриминативности r pb j ≥ 0,5. Половина заданий исследуемого теста удовлетворяют этому условию. В то же время среднее значение точечного бисериального коэффициента корреляции значительно меньше 0,5. (r pb j )ср. 0,473 , то есть не- Рассмотрим подробнее задание № 12 - нахождение вычета в существен- но особой точке. По мнению составителей, оно достаточно уникально и его не- желательно удалять из теста, что соответствует мнению некоторых авторов [7], pb считающих, что в этом случае можно сохранить задание, если даже r j 0,1. Другой способ оценки различающей способности связан с анализом коэффициента дискриминативности r j диск задания j. Эта величина определяется как разность между долей правильных ответов p 1 j среди 27 % «лучших» и долей неправильных ответов 8]. Таким образом, p 0 j среди 27 % «худших» студентов [1, 2, 6, 7, j j j rдиск p1 p0 . Согласно градации в классической тестовой теории [6] задание считается вполне эффективным при r j диск 0,4 ; удовлетворительным, когда диск 0,3 r j 0,39 ; если диск 0,2 r j 0,29 , то задание следует анализировать на пригодность; наконец, если переработать. r j диск 0,19 , то задание нужно изъять либо Коэффициенты дискриминативности r j диск , представленные в последней строке табл. 2, позволяют сделать вывод о том, что только задание № 2 требует анализа на пригодность, восемь заданий попадают в разряд вполне эффективных и три задания - в разряд удовлетворительных. Скорее всего, задание № 2 (деление комплексных чисел) оказалось слишком простым и следует подумать о его переработке. Задание № 12, имеющее низкий точеч- ный бисериальный коэффициент корреляции, на этот раз попадает в разряд удовлетворительных. Среднее значение коэффициента дискриминативности (r j диск )ср. 0,535 . Таким образом, оценивая валидность теста «Теория функций комплексной переменной» по нормальному распределению, по содержанию и по различающей способности, приходим к следующим выводам. Проведенный анализ показывает, что кривая распределения баллов близка к нормальной кривой - распределению Гаусса. Оценивая валидность по содержанию, можно отметить, что в тесте представлены основные темы раздела, требующие достаточно глубоких зна- ний по изучаемой дисциплине. При исследовании различающей способности (дискриминативности) по точечному бисериальному коэффициенту r pb j оказалось, что в разряд приемлемых не попадает только задание № 12 (если в качестве критической точ- ки брать 0,3). Если валидность оценивать по коэффициенту дискриминативности r j диск , то лишь задание № 2 требует анализа на пригодность. Предлагается сохранить задание № 12 и переработать задание № 2.×
About the authors
Lidiya A. Muratova
Samara State Technical University
Email: muratova-la@mail.ru
Cand. Tech. Sci., Associate Professor of Higher Mathematics and Applied Informatics. 244, Molodogvardeyskaya Str., Samara, 443100
References
- Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов // Наука и образование: электронное научно-техническое издание. - 2011. - Вып. 4. - 28 с.
- Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. - М.: Логос, 2002. - 432 с.
- Анастази А. Психологическое тестирование. Кн. 1. - М.: Педагогика, 1982. - 320 с.
- http://kpmit.wl.dvgu.ru/library/aschepkova_testing17102001/index.phtml# contents
- Психологическая диагностика: Учеб. пособие / Под ред. К.М. Гуревича, Е.М. Борисовой. - М.: Изд-во УРАО, 1997. - 304 c.
- Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. - М.: НМЦ СПО Минобразования РФ, 1999. - 152 с.
- Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учеб. пособие. - Донецк: ДонГУ, 1991. - 168 с.
- Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007. - 224 с.
- Ким В.С. Тестирование учебных достижений. - Уссурийск: Изд-во УГПИ, 2007. - 214 с.