Features of testing as control devices and estimations of educational achievements of students

Full Text

Повышение эффективности управления учебно-воспитательным процес- сом напрямую зависит от систематического контроля учебно-познавательной деятельности студентов. В настоящее время согласно требованиям государ- ственного образовательного стандарта [1] необходимо, чтобы система кон- троля учебных достижений обучаемых была разноплановой, т. е. ориентиро- ванной, с одной стороны, на проверку знаний и умений, с другой - на выяв- ление творческих способностей [2, с. 29]. Контролирующие мероприятия ме- няют свой характер и смещаются от традиционных к аутентичным формам, предполагающим использование в контроле релевантных оценочных средств. К таким средствам можно отнести и педагогические тесты. Педагогический тест - это система заданий специфической формы, опре- деленного содержания, нарастающей трудности, позволяющая качественно оценить и измерить уровень знаний, умений и навыков [3, с. 7]. По целям применения педагогические тесты разделяются на нормативно- ориентированные и критериально-ориентированные. Нормативно- ориентированный тест позволяет ранжировать испытуемых по уровню зна- ний, то есть сравнивать учебные достижения испытуемых друг с другом. Критериально-ориентированный тест позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области [4, с. 36]. Существуют четыре основных вида тестовых заданий [5]. Тестовые задания открытого типа, когда задания формулируются в форме вопроса или высказывания, где тестируемым предлагается продол- жить или вставить недостающую часть утверждения. Их можно разделить на задания с коротким или развернутым ответом. Достоинство данного вида за- ключается в том, что в них нет готового ответа, что лишает проверяемых возможности угадывания. К недостаткам можно отнести краткие формули- ровки, трудно совмещаемые с требуемой однозначностью системы «вопрос - ответ». Задания этого типа проверяют такие показатели обученности, как за- поминание (при кратком) и понимание (при развернутом ответе). Тестовые задания закрытого типа, состоящие из основного текста и различных вариантов ответов, где правильные варианты носят название «райтеры», а неправильные - «дистракторы». По типу формулировки теста подобные задания - высказывательные и повелительные, которые легко фор- мулируются и понимаются испытуемыми. Основной недостаток - возмож- ность угадывания ответа, к тому же в этом случае проверяется лишь различе- ние, распознавание, а в лучшем случае - уровень запоминания. Задания на установление соответствия (элементы одного множества требуется поставить в соответствие элементам другого множества). Они ак- тивизируют самостоятельную работу испытуемых, исключают условия для списывания, позволяют проверить такой важный показатель обученности, как понимание, и носят обучающий характер. Задания на установление правильной последовательности, способ- ствующие формированию логического мышления и проверяющие степень сформированности осознанных знаний, то есть понимания. Точные науки, в том числе и высшая математика, - наиболее подходящий объект для разработки тестовых заданий. Практически любая задача здесь трансформируется в тестовое задание того или иного вида, и правильность ответа не вызывает никаких сомнений или разночтений. На кафедре высшей математики и прикладной информатики Самарского государственного технического университета на протяжении многих лет для мониторинга успеваемости студентов применяются гомогенные педагогиче- ские тесты. Система тестового контроля строится в соответствии с рабочей программой. Каждому разделу рабочей программы ставится в соответствие контролирующее мероприятие. Так, на входе в обучение ежегодно проводится тест по школьному курсу математики, который позволяет выявить багаж знаний, умений и навыков, которым обладают студенты, оценить уровень их готовности к изучению высшей математики в вузе [6]. Изучение каждого раздела завершается тема- тическим контролем с использованием следующих тестов: «Линейная алгебра. Аналитическая геометрия», «Пределы. Производ- ные» (1-й семестр); «Интегральное исчисление», «Дифференциальные уравнения», «Ряды» (2-й семестр); «Теория функции комплексной переменной», «Операционное исчисле- ние», «Теория вероятностей», «Математическая статистика», «Уравнения ма- тематической физики» (3-й семестр). В конце каждого семестра предусмотрен рубежный контроль (экзамена- ционные тесты), по завершении всего курса - итоговый контроль (тесты остаточных знаний). Все вышеперечисленные тесты представляют собой за- дания закрытой формы с пятью ответами, верный из которых - только один. Важной особенностью, отличающей тесты от традиционных форм кон- троля, являются научно обоснованные критерии качества. Поэтому тестовые задания, разработанные на кафедре высшей математики и прикладной ин- форматики, проходят обязательную процедуру оценки их надежности и ва- лидности. Надежность теста отражает точность тестовых измерений, а также устой- чивость тестовых результатов к действию случайных факторов. Для оценки надежности применяют формулу Кьюдера - Ричардсона [7, с. 335]: æ n ö ç n ç å pi qi ÷ i =1 ÷ S (rН ) КН -20 = × ç1 - 2 ÷ , n - 1 ç x ÷ è ø где n - число заданий теста; pi - доля правильных ответов на i-е задание; qi - доля неправильных ответов; Sx2 - дисперсия по распределению наблюдаемых баллов. В качестве нижнего предела допустимых значений надежности обычно выбирают 0,7. При более низком значении использование теста нецелесооб- разно. Рассмотрим показатели надежности некоторых тестов: школьный тест: rН = 0,74; «Интегральное исчисление»: rН = 0,796; «Линейная алгебра. Аналитическая геометрия»: rН = 0,753 [8]. Валидность характеризует адекватность теста поставленной цели его со- здания, т. е. соответствие содержания теста запланированным для проверки знаниям и умениям. Для оценки валидности теста используют показатель дискриминативности, вычисляемый по формуле [7, с. 253] (X ) - (X ) (N ) × (N ) 1 i 0 i 1 i 0 i rдис i = S x N (N -1) , ) 1 i где (X среднее значение индивидуальных баллов испытуемых, выпол- ) 0 i нивших верно i-е задание теста; (X среднее значение индивидуальных баллов испытуемых, выполнивших неверно i-е задание теста; Sx - стандарт- ное отклонение по множеству значений индивидуальных баллов; (N1)i - число испытуемых, выполнивших верно i-е задание теста; (N0)i - число испытуе- мых, выполнивших неверно i-е задание теста; N - общее число испытуемых. Значение индекса rдис i представляет собой дробь, принадлежащую интер- валу [-1; 1]. Максимальное значение 1 индекс rдис i достигает в том случае, ко- гда все испытуемые из подгруппы лучших правильно выполнят i-е задание теста, а из подгруппы худших это задание не выполнит ни один. В этом слу- чае задание будет обладать максимальным дифференцирующим эффектом (идеальная ситуация). Некоторые показатели дискриминативности представлены в табл. 1 и табл. 2. Таблица 1 Показатели дискриминативности теста «Интегральное исчисление» № задачи 1 2 3 4 5 6 7 8 9 10 rдис i 0,62 0,68 0,68 0,68 0,55 0,51 0,65 0,62 0,59 0,62 Показатели дискриминативности теста «Линейная алгебра. Аналитическая геометрия» Таблица 2 № задачи 1 2 3 4 5 6 7 8 9 10 rдис i 0,07 0,59 0,38 0,10 0,45 0,28 0,62 0,72 0,64 0,44 № задачи 11 12 13 14 15 16 17 18 19 20 rдис i 0,39 0,24 0,64 0,50 0,81 0,69 0,75 0,75 0,72 0,53 Общий коэффициент валидности теста вычисляется по формуле n å rдис i rдис = i=1 , где n - число заданий теста. n Оценивается его значение следующим образом: 0,2-0,3 - низкое; 0,3- 0,5 - среднее; свыше 0,5 - высокое. Так, значение общего коэффициента для теста «Интегральное исчисление» составляет 0,62; для теста «Линейная ал- гебра. Аналитическая геометрия» - 0,434. Полученные данные говорят о состоятельности упомянутых тестовых за- даний. Важно отметить, что несмотря на многолетний опыт, сложившиеся традиции, устоявшийся порядок применения тестов тестология не останови- лась в своем развитии. Существующие апробированные тесты обновляются, корректируются в зависимости от меняющихся внешних условий и предъяв- ляемых требований, оставаясь при этом надежными и валидными. Так, после проведенного анализа качества теста «Линейная алгебра. Аналитическая гео- метрия» [8] в тестовые задания были внесены некоторые изменения с целью повышения качественных характеристик. Обновленный тест также прошел процедуру анализа, который показал улучшение показателей надежности (с 0,753 до 0,813) [9] и валидности (с 0,434 до 0,475) [10]. В 2015 г. был обновлен и тест по школьному курсу математики. Из него были удалены задания, перекликающиеся с курсом высшей математики (ска- лярное произведение векторов, интегральное исчисление и его приложения), а внесены задания, изучаемые только в школе (свойства показательной и ло- гарифмической функций, решение неравенств). Тестирование проводилось традиционно у студентов всех факультетов. Для сравнения результатов 2014 и 2015 гг. был выбран химико-технологический факультет (95 и 92 студента соответственно). Анализ критериев качества теста до (2014 г.) и после (2015 г.) внесенных изменений показал следующие результаты. Показатель надежности значительно возрос: с 0,758 до 0,853. Показатель дискримина- тивности несколько снизился: с 0,420 до 0,400, но остался в рамках среднего значения. Результаты исследований говорят об улучшении и без того состоя- тельных тестовые заданий, что характеризует тестирование как эффективное средство объективного контроля знаний студентов. Таким образом, созданная система тестового контроля функционирует в режиме постоянного обновления с учетом педагогической практики и потребностей общественного развития. Все тесты, разработанные на кафедре высшей математики, состоят из за- даний закрытого типа, которые, как отмечалось ранее, проверяют только пер- вый и второй уровни усвоения знаний по Беспалько [11, с. 56], что является достаточным на данном этапе обучения (1-й, 2-й, 3-й семестры). В дальнейшем для оценки третьего (эвристическая деятельность) и четверто- го (творческая деятельность) уровней знаний эксперты рекомендуют использовать компетентностные или ситуационные тесты, сочетающие разные виды тестовых заданий между собой и содержащие задания прикладного и меж- дисциплинарного характера. В заключение отметим, что рассмотренные особенности характеризуют тестирование как эффективное средство контроля, обеспечивающее надеж- ную и объективную оценку учебных достижений студентов.

About the authors

Irina N. Bulanova

Samara State Technical University

Email: i-bulanova@bk.ru
Lecture of Advanced Mathematics and Applied Informatics Department 244, Molodogvardejskaya str., Samara, 443100

References

Supplementary files