Levels of mastering theoretical knowledge of higher mathematics in computerized testing

Full Text

Введение

Компьютерное тестирование, несмотря на отмечаемые во многих работах его недостатки, стало одним из часто применяемых методов проверки знаний обучающихся, в том числе в высшей школе. Этому способствовало то обстоятельство, что тестирование является одним из основных инструментов оценки качества обучения в вузах при аккредитации, а также появление и развитие программных средств, позволяющих достаточно легко и оперативно создавать тесты и применять их при обучении.

Вместе с тем качественные тесты, тестовые задания должны удовлетворять ряду требований. [1], [2] В частности, при разработке заданий для контроля результатов обучения необходимо определять уровни усвоения знаний, сопоставляя их с целями обучения, на проверку достижения которых направлены отдельные задания и их совокупность в целом, основываясь на некоторой иерархической структуре уровней усвоения. Соотнесение заданий с уровнями усвоения знаний имеет особое значение при тестовой системе проверки, так как последняя не предполагает возможностей по уточнению качества ответа на задание с использованием дополнительных вопросов.

В педагогической литературе рассматриваются разные походы к построению иерархии уровней уровни усвоения учебного материала. На практике при использовании уровней усвоения в конкретной дисциплине требуется уточнение и детализация общих подходов. По математике при оценке результатов обучения обычно разделяют проверку усвоения теоретического материала и проверку умений и навыков решения задач. В вузах указанное разделение подчеркивается организацией обучения: лекции и практические занятия. На лекциях основное внимание уделяется теории: понятиям, утверждениям, обоснованию последних. На практических занятиях – решению типовых (стандартных) задач. К типовым примерам, задачам мы относим задания, алгоритмы решения которых известны и неоднократно применялись на практических занятиях.

Отметим исходя из многолетнего опыта обучения математике, что школьник или студент может получить правильный ответ при решении типового примера по освоенному алгоритму при минимальных теоретических знаниях или даже при их отсутствии – например, правильно решить тригонометрическое или логарифмическое уравнение, не зная определения синуса, косинуса, логарифма, вычислить скалярное, векторное произведение, неопределенный интеграл, не умея дать их определение, и т. д.

Поэтому тестовые задания на проверку умений решать типовые задачи часто являются более легкими для выполнения обучающимися, чем задания на знание определений понятий, формулировок утверждений, хотя знание определений, формулировок утверждений – это уровень воспроизведения знаний, простое запоминание, а решение задач – уровень применения знаний.

Задания на решение типовых примеров по математике разрабатывать легче, чем на проверку теоретических знаний. По начальным разделам высшей математики (основы аналитической геометрии, линейной алгебры, дифференциального и интегрального исчислений функций одной переменной) задания нетрудно создать самому преподавателю, имеющему опыт обучения студентов. Преподаватель для составления заданий может использовать сборники задач по высшей математике, применяемые им на практических занятиях. Многие примеры из сборников задач по высшей математике могут использоваться как тестовые задания открытого типа. При этом при выборе или разработке задания на проверку умений преподаватель ориентируется на собственные представления о трудности задания на основе опыта проведения традиционных контрольных работ.

Для составления заданий на проверку теории сложно использовать сборники задач по высшей математике, так как предлагаемые в них задания теоретического характера имеют, как правило, нетестовую форму – правильность ответа может быть оценена только при устном опросе. Сложно использовать и опыт устного приема экзаменов, так как при устном ответе студента на теоретический вопрос экзаменатор обычно задает дополнительные вопросы, позволяющие уточнить качество знаний отвечающим определений понятий, формулировок утверждений, взаимосвязей между понятиями, утверждениями и т. д. Даже при большом опыте приема экзаменов трудно спрогнозировать процент правильных ответов на теоретический вопрос, переработанный в тестовую форму.

Поэтому при разработке тестовых заданий для компьютерной проверки усвоения студентами теоретических знаний требуется изначальное более четкое сопоставление задания с уровнем усвоения знаний, на которое оно направлено.

Цель данной работы – детализация уровней усвоения теоретических знаний по высшей математике для применения при разработке и организации компьютерного тестирования. Новизна исследования состоит в предложении такой иерархии из четырех уровней, обоснование возможности ее применения на примерах создания и использования тестов по высшей математике для направлений «Электроника и наноэлектроника», «Прикладная информатика» в Московском институте электронной техники.

Обзор литературы

За основу построения иерархии уровней усвоения часто берется известная таксономия Блума [3] образовательных целей обучения, конкретизируемая и уточняемая затем многими исследователями (В.П. Беспалько, В.П. Симонов, М.Н. Скаткин и др.). Несмотря на различия в структурах уровней усвоения у разных авторов, во всех структурах независимо от дисциплины обучения выделяются следующие основные уровни усвоения [2]: 1) воспроизведение (узнавание, различение понятий, фактов, утверждений и т. д.); 2) понимание и применение понятий в знакомой ситуации (решение типовых задач); 3) применение знаний в новой незнакомой ситуации (творческий уровень). По математике такой порядок типов знаний указывает А.В. Дорофеев в своем исследовании [4].

В настоящее время имеется много сайтов с тестами как по элементарной математике, так и по высшей математике, содержащими в основном задания на проверку умений решать типовые задачи. Есть также учебные издания, сайты с вариантами тестов [5], [6], [7] по многим разделам высшей математики. К сожалению, авторы сборников тестов или материалов на сайтах обычно не приводят статистических данных об апробации тестов. На проверку каких умений направлено то или иное задание на сайте или в сборнике тестов, опытному преподавателю несложно понять. Также несложно сделать прогноз об успешности выполнения отдельных заданий студентами, которых обучает преподаватель. Но важно знать, насколько совпали прогнозы с результатами апробации, и сравнить собственные результаты тестирования с результатами студентов других вузов. В связи с этим интересны статьи Л.В. Лимановой и Л.А. Муратовой [8], [9], [10], [11], в которых приведены тестовые задания и тесты по нескольким разделам высшей математики, оценка степени трудности отдельных заданий по результатам тестирования, а также проведен анализ тестов на надежность, валидность.

Кроме того, отметим, что тестовые задания на проверку теоретических знаний в сборниках тестов, на сайтах часто вообще не предлагаются или предлагаются в незначительном количестве.

Материалы и методы

При рассмотрении обозначенной в статье проблемы использовался анализ педагогической и научной литературы по теоретическим основам разработки тестовых заданий, организации тестирования, публикаций с вариантами тестовых заданий, экспериментальная разработка тестов с последующей их апробацией и первичной обработкой результатов апробации.

Результаты исследования

Тестовые задания на проверку умений решать типовые задачи по начальным разделам высшей математики, предлагаемые на сайтах, в сборниках тестов, как правило, не имеют заметных различий. Они могут быть открытого или закрытого типа, но для их выполнения нужно знать лишь базовые алгоритмы, методы, изучаемые даже при небольшом объеме курса высшей математики в вузе. Это отражено и в тестах Росаккредагентства, используемых им для оценки знаний студентов вузов: значительное число тестовых заданий одно и то же для различных направлений подготовки. Как отмечено выше, такие тестовые задания создаются многими преподавателями для использования только в вузе, в котором они работают.

Существенно сложнее ситуация с проверкой теоретических знаний с помощью компьютерных тестов. Это связано с объективными причинами.

Одной из них являются современные структура и содержание государственных образовательных стандартов направлений подготовки бакалавров.

Рассмотрим для примера направление «Электроника и наноэлектроника».

В государственном образовательном стандарте высшего профессионального образования подготовки специалистов (инженеров) 2000 года указывались минимальные объемы (в часах) подготовки по отдельным циклам: ГСЭ (общие гуманитарные и социально-экономические дисциплины); ЕН (общие математические и естественнонаучные дисциплины); ОПД (общепрофессиональные дисциплины); СД (специальные дисциплины, включая дисциплины специализации); ФТД (факультативы), а также основные разделы для изучения.

В федеральном государственном стандарте высшего профессионального образования 2009 для подготовки бакалавров (ФГОС 3) введены компетенции (компетентностный подход) и оценка трудоемкости подготовки в зачетных единицах. Но были сохранены циклы подготовки, в частности ГСЭ и ЕН, указана трудоемкость циклов, перечень дисциплин в циклах. Однако содержание обучения задано уже неявно: через формулировки компетенций и описание знаний, умений, навыков, которыми должен владеть выпускник.

В федеральном государственном стандарте 2015 для подготовки бакалавров (ФГОС 3+) из наименования стандарта убрано слово «профессиональный», убраны циклы подготовки, программа бакалавриата разбита на блоки без указания изучаемых дисциплин (выделены только дисциплины: философия, история, иностранный язык, безопасность жизнедеятельности и физическая культура, которые должны быть в образовательной программе любого вуза). Содержание подготовки задано через формулировки компетенций. Описания (даже в общем виде!) знаний, умений, навыков, которыми должен овладеть выпускник, были исключены. Формулировки компетенций в стандартах остались весьма общими и имеющими трудно объяснимые отличия, например, по математике, для разных направлений.

Во ФГОС 3++ были сделаны уточнения формулировок компетенций и ряд других изменений, дополнений, не меняющих существенно компетентностный подход. Но также отсутствует описание содержания обучения по отдельным циклам, и вузам предоставлены права варьировать объемы изучения дисциплин в широких пределах.

Предоставление стандартами 2015 года права вузам изменять произвольно объемы фундаментальной подготовки привело к большим ее различиям (в несколько раз!) в разных вузах или даже в одном вузе для разных, но близких по характеру будущей деятельности направлений подготовки. Сохранение какого-то единства в математической подготовке в разных вузах обеспечивали фактически тесты Росаккредагентства, но только в формировании умений и навыков по началам высшей математики.

Другой причиной, усложняющей разработку тестов по проверке теоретических знаний по математике, является устоявшаяся практика чтения лекций в вузах. Лектору в вузе предоставляется право вносить изменения в программу дисциплины при сохранении в целом содержания обучения: порядка изложения отдельных тем, уровня обоснования утверждений и т. п. При смене лектора в той или иной мере нередко изменяется и изложение теоретического материала. Поэтому тестовые задания на проверку теории, созданные одним или группой преподавателей даже в одном и том же вузе, не всегда могут использоваться другими преподавателями этого вуза.

Эти обстоятельства еще больше подчеркивают значимость использования некоторой иерархии уровней усвоения знаний при разработке тестовых заданий на проверку теоретического материала.

При проверке теоретических знаний выделим следующие уровни усвоения материала: 1) распознавание; 2) механическое воспроизведение; 3) фрагментарное понимание; 4) целостное понимание. Данные уровни являются частью иерархии из восьми уровней усвоения математических знаний, предложенной в статье [12], применительно к проверке теоретических знаний. При этом предполагается, что будут использоваться в основном компьютерные тестовые задания закрытого типа. В работе, опубликованной позже, приведены все восемь уровней как иерархическая классификация тестов. [13]

На уровне распознавания студент может выделить верное определение понятия, свойство (в том числе по рисункам), формулировку утверждения. Используемые тестовые задания – закрытого типа с единственным (более легкий вариант) или множественным ответом (более сложный вариант). В формулировке задания нет пропусков и не используются в качестве неверных ответов ошибочные утверждения о свойствах понятия, его взаимосвязи с другими понятиями.

На уровне механического воспроизведения студент может вставить из предложенного набора нужное в пропущенное в формулировке определения, утверждения, свойства или сопоставить два списка.

При фрагментарном понимании студент может правильно восстановить связи между понятиями, утверждениями, относящимися к одной теме. При этом соответствующие связи обсуждались, как правило, на практических занятиях или в курсе лекций.

При целостном понимании студент должен использовать анализ и синтез. Для правильного выполнения задания нужно устанавливать связи между понятиями, утверждениями, относящимися ко всей дисциплине, выяснять истинность сформулированных высказываний, которые не рассматривались на занятиях, но достаточно легко следуют из изложенного.

Отнесение тестового задания к определенному уровню выполняется экспертным образом и не зависит от успешности его выполнения студентами. Задание низкого уровня может быть выполнено студентами более успешно, чем высокого. Успешность выполнения заданий зависит от качества математической подготовки поступивших на обучение в вуз, объема лекций по математическим дисциплинам, времени, выделенного на практических занятиях для обсуждения теоретического материала дисциплины.

В статье Л.Н. Посицельской и С.В. Зубовой [14] для проверки теоретических знаний по математике предлагается использовать задания закрытого типа следующих видов: 1) выбрать из списка ответов пропущенную часть определения или пропущенное условие (заключение) теоремы; 2) определить логические связи между утверждениями, выбрав правильный вариант ответа; 3) выбрать из списка ответов условие или заключение, при котором утверждение является верным; 4) выбрать верные (ошибочные) утверждения из предложенного списка. При этом в последних двух видах заданий, как предлагают авторы статьи [14], могут рассматриваться утверждения, не являющиеся стандартными.

Приведем примеры заданий на рассматриваемые уровни, чтобы пояснить классификацию, и результаты выполнения заданий студентами при прохождении компьютерного тестирования в ходе изучения дисциплин «Линейная алгебра» и «Математический анализ» по направлениям «Электроника и наноэлектроника», «Прикладная информатика». В использованной при апробации системе компьютерного тестирования ответы к одному и тому же заданию для каждого студента располагались случайным образом.

Ниже буква Р означает, что задание было отнесено к уровню «Распознавание», М – «Механическое воспроизведение», Ф – «Фрагментарное понимание», Ц – «Целостное понимание».

Р-1. Каноническое уравнение эллипсоида имеет вид:

1) $\frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}=1$; 2) $\frac{x^2}{a^2}+\frac{y^2}{b^2}-\frac{z^2}{c^2}=1$; 3) $\frac{x^2}{a^2}+\frac{y^2}{b^2}-\frac{z^2}{c^2}=-1$;

4) $\frac{x^2}{a^2}+\frac{y^2}{b^2}-\frac{z^2}{c^2}=0$; 5) $\frac{x^2}{p}+\frac{y^2}{q}=2z$, где p и q – положительные числа.

Р-2. Множество всех точек плоскости, для каждой из которых расстояние до некоторой фиксированной точки F равно расстоянию до заданной прямой d, называется: 1) параболой; 2) эллипсом; 3) гиперболой; 4) окружностью.

Р-3. Отметьте верные определения предела функции:

1) $\underset{x\to -\infty }{lim}f\left(x\right)=10$, если для любой последовательности $x_n\to -\infty$ соответствующая последовательность значений функции $f\left(x_n\right)\to 10$;

2) $\underset{x\to -\infty }{lim}f\left(x\right)=10$, если для любого числа ε>0 существует число M>0 такое, что для всех x<-M выполняется неравенство $\left|f\left(x\right)\right.-\left.10\right|$<ε;

3) $\underset{x\to -\infty }{lim}f\left(x\right)=10$, если для любого числа ε>0 существует число M>0 такое, что для всех x<M выполняется неравенство $\left|f\left(x\right)\right.-\left.10\right|$<ε;

4) $\underset{x\to -\infty }{lim}f\left(x\right)=10$, если хотя бы для одной последовательности $x_n\to -\infty$ соответствующая последовательность значений функции $f\left(x_n\right)\to 10$.

В первых двух примерах заданий, отнесенных нами к уровню распознавания, нужно было выбрать только один правильный ответ. При апробации на задание Р-1 правильно ответили 91 % студентов, на задание Р-2 – 95 % студентов. Третий пример также нами отнесен к уровню распознавания, но с множественным выбором. Задание засчитывалось только в случае выбора студентом всех правильных ответов. Задание выполнили правильно 50 % студентов.

М-1. Установите соответствие между величинами и интегралами для их вычисления:

 

Величина	Формула
А) длина дуги, заданной в декартовой системе координат: $y=f\left(x\right), a\le x\le b$	1)${\int }_a^b\sqrt{1+{\left(f^{\text{'}}\left(x\right)\right)}^2}dx$
Б) длина дуги, заданной параметрически: $x=\phi \left(t\right), y=\psi \left(t\right), a\le x\le b$	2)${\int }_a^b\sqrt{{\left({\phi }^{\text{'}}\left(t\right)\right)}^2+{\left({\psi }^{\text{'}}\left(t\right)\right)}^2}dt$
В) длина дуги, заданной в полярных координатах: $r=r\left(\phi \right), a\le \phi \le b$	3)${\int }_a^b\sqrt{{\left(r\left(\phi \right)\right)}^2+{\left(r^{\text{'}}\left(\phi \right)\right)}^2}dt$
	4)${\int }_a^b\sqrt{{\left(\phi \left(t\right)\right)}^2+{\left({\psi }^{\text{'}}\left(t\right)\right)}^2}dt$
	5)${\int }_a^b\sqrt{1+{\left(r^{\text{'}}\left(\phi \right)\right)}^2}dt$
	6)${\int }_a^b\sqrt{1+{\left(\phi \left(t\right)\right)}^2+{\left(\psi \left(t\right)\right)}^2}dt$
	7)${\int }_a^b\sqrt{1+{\left(f\left(x\right)\right)}^2}dx$

 

М-2. Укажите слово, которое нужно вставить, чтобы получилось верное определение:

Последовательность x_n называется …, если x_n≤x_n+1 для любого номера n.

1) неубывающей; 2) ограниченной; 2) возрастающей; 3) сходящейся; 4) неограниченной.

М-3. Отметьте фразу, которую нужно вставить, чтобы получилось верное утверждение:

Функция f(x) имеет конечный предел при $x\to a$ тогда и только тогда, когда … $\forall x_1, x_2\in U\left(a\right), x_1\ne a, x_2\ne a$, выполняется неравенство $\left|f\left(x_1\right)-f\left(x_2\right)\right|<\epsilon$:

1) ∀ε>0 и существует окрестность U(a) такая, что

2) ∀ε>0 и любой окрестности U(a) и

3) ∀ε>0 и окрестности U(a)=(a-1, a+1) и

4) ∃ε>0 и существует окрестность U(a) такая, что

На данные задания, отнесенные к уровню механического воспроизведения, результаты при апробации следующие: М-1 – 88 % студентов выполнили задание правильно; М-2 и М-3 – соответственно 66 и 75 % студентов.

Ф-1. Пусть $e_1,e_2,\mathrm{...,}{e}_n$ и ${e^{\text{'}}}_1,{e^{\text{'}}}_2,\mathrm{...,}{e^{\text{'}}}_n$ – два базиса в линейном пространстве L и $({e^{\text{'}}}_1,{e^{\text{'}}}_2,\mathrm{...,}{e^{\text{'}}}_n)=(e_1,e_2,\mathrm{...,}{e}_n)·C$, где C – матрица перехода от $e_1,e_2,\mathrm{...,}{e}_n$ к ${e^{\text{'}}}_1,{e^{\text{'}}}_2,\mathrm{...,}{e^{\text{'}}}_n$. Если A – матрица линейного оператора φ в базисе ${e^{\text{'}}}_1,{e^{\text{'}}}_2,\mathrm{...,}{e^{\text{'}}}_n$, то матрица B этого линейного оператора в базисе $e_1,e_2,\mathrm{...,}{e}_n$ равна:

1) CAC^-1; 2) C^-1AC; 3) C^TAC; 4) CAC^T.

Ф-2. Если предел функции в точке (x₀, y₀) существует, то функция обладает свойствами:

1) функция непрерывна в данной точке;

2) функция ограничена на множестве точек (x, y) таких, что $0<\sqrt{{\left(x-x_0\right)}^2+{\left(y-y_0\right)}^2}<1$;

3) функция ограничена на множестве точек (x, y) таких, что $0<\sqrt{{\left(x-x_0\right)}^2+{\left(y-y_0\right)}^2}<\delta$ для некоторого δ>0;

4) функция сохраняет знак в некоторой окрестности точки (x₀, y₀);

5) функция имеет конечные пределы в точке по любому направлению.

На эти задания, отнесенные к уровню фрагментарного понимания, результаты при апробации следующие: Ф-1 – 48 %; Ф-2 – 43 %.

Ц-1. Для сходимости несобственного интеграла ${\int }_1^{+\infty }f\left(x\right)dx$ с единственной особенностью на бесконечности:

1) необходимо, чтобы сходился интеграл от $\left|f\left(x\right)\right|$;

2) достаточно, чтобы сходился интеграл от $\left|f\left(x\right)\right|$;

3) необходимо и достаточно, чтобы сходился интеграл от $\left|f\left(x\right)\right|$;

4) достаточно, чтобы $\underset{x\to +\infty }{lim}\frac{f\left(x\right)}{x}=2$;

5) достаточно, чтобы $\underset{x\to +\infty }{lim}\frac{f\left(x\right)}{x^2}=2$.

Ц-2. Отметьте свойства, которыми обладает функция $f=e^{-\frac{1}{x^2+y^2}}$:

1) функция ограничена в любой окрестности начала координат;

2) функция не ограничена в любой окрестности начала координат;

3) функция имеет конечный предел в точке (0;0);

4) функция не имеет конечного предела в точке (0;0);

5) функция непрерывна в точке (0;0).

На данные задания, отнесенные к уровню целостного понимания, результаты апробации следующие: Ц-1 – 40 %; Ц-2 – 50 %.

Если с отнесением заданий на проверку теоретических знаний к уровням распознавания и механического воспроизведения особых разногласий у разработчиков тестов и экспертов не возникало, то с отнесением к уровням фрагментарного и целостного понимания мнения часто существенно отличались.

Поэтому поясним принятые решения об уровнях заданий Ф-1, Ф-2, Ц-1, Ц-2.

Задание Ф-1. На лекции и практических занятиях рассматривалась формула для вычисления матрицы линейного оператора, если известны матрица оператора в базисе и матрица перехода от базиса $e_1,e_2,\mathrm{...,}{e}_n$ к базису ${e^{\text{'}}}_1,{e^{\text{'}}}_2,\mathrm{...,}{e^{\text{'}}}_n$. Студент для ответа на задание должен самостоятельно получить формулу для нахождения матрицы оператора в иной ситуации.

Задание Ф-2. При выполнении этого задания студент должен восстановить изложенные связи между понятиями предела функции и непрерывности в точке, а также свойства функций, имеющих предел.

Задание Ц-1. Студент должен отличать необходимость и достаточность, заключить, что при выполнении условий 4) и 5) функция будет положительной для всех достаточно больших значений аргумента и можно применить признаки сходимости для несобственных интегралов, доказанные для неотрицательных функций.

Задание Ц-2. При выполнении этого задания необходимо найти предел функции в точке (0;0), перейдя, например, к полярным координатам, вспомнить свойства функции, имеющей предел в точке.

Очевидно, что в зависимости от содержания курсов и объема, отведенного на их изучение, примеры заданий на два последних уровня могут быть изменены.

Обсуждение и заключение

При разработке тестовых заданий по высшей математике для проверки умений и навыков решения типовых задач (или их выборе из вариантов тестов, представленных на сайтах или в учебных пособиях) преподаватель может ориентироваться на оценку трудности выполнения отдельных заданий, на свой опыт оценки выполненных студентами контрольных работ, на сборники задач, используемых при проведении практических занятий. При разработке тестовых заданий на проверку знаний определений, утверждений по высшей математике, взаимосвязей между понятиями, фактами авторы статьи рекомендуют соотносить задания с уровнями усвоения теоретических знаний из некоторой иерархической системы. Использование иерархической системы уровней знаний позволяет точнее учесть при разработке заданий объем и глубину изучения теоретического материала.

В статье предложена такая система из четырех уровней усвоения знаний (распознавание, механическое воспроизведение, фрагментарное понимание, целостное понимание) и приведены примеры, демонстрирующие соотнесение тестовых заданий с определенным уровнем.

About the authors

Sergey G. Kal’ney

National Research University "Moscow Institute of Electronic Technology"

Email: skalney@yandex.ru

Cand. Phys. and Math. Sci., Associate Professor of Physics and Applied Mathematics Institute

Russian Federation, 1, Shokina sq., Zelenograd, Moscow, 124498

Natalia N. Konsevich

National Research University "Moscow Institute of Electronic Technology"

Email: konsevichn@mail.ru

Cand. Phys. and Math. Sci., Associate Professor of Physics and Applied Mathematics Institute

Russian Federation, 1, Shokina sq., Zelenograd, Moscow, 124498

Ekaterina S. Migunova

National Research University "Moscow Institute of Electronic Technology"

Email: katrinelka@mail.ru

Assistant of Physics and Applied Mathematics Institute

Russian Federation, 1, Shokina sq., Zelenograd, Moscow, 124498

Elena V. Chaykina

National Research University "Moscow Institute of Electronic Technology"

Author for correspondence.
Email: schel06@mail.ru

Cand. Ped. Sci., Associate Professor of Physics and Applied Mathematics Institute

Russian Federation, 1, Shokina sq., Zelenograd, Moscow, 124498

References

Supplementary files