Experience of using the interactive form of masters’ midterm assessment in a foreign language

Full Text

Введение

Иностранный язык в нелингвистических образовательных организациях высшего образования относится к общенаучным дисциплинам. Это касается и магистерских программ.

Магистерские программы нацелены на формирование системных навыков ведения профессиональной и научно-исследовательской работы, а выпускники магистратуры могут рассматриваться в качестве потенциальных научно-педагогических работников. В связи с этим иностранный язык на данной ступени получения высшего образования ориентирует студентов на использование иноязычных источников информации для проведения собственного исследования актуальных проблем профессионального характера. Данная дисциплина вносит существенный вклад в становление исследовательской компетенции магистрантов (умение работать с источниками информации, анализировать и обобщать их, структурировать полученную информацию для обсуждения изученного материала в виде докладов, презентаций). Коммуникативная компетенция магистрантов раскрывается в умении изложить имеющиеся сведения в доступном для понимания аудитории формате, в способности вести диалог, аргументируя собственную позицию по обсуждаемому вопросу и убеждая в правильности высказываемого мнения других.

Анализ доступных источников информации показывает, что вопросы языковой подготовки магистрантов входят в сферу научных интересов исследователей. Следует отметить, что авторов публикаций больше интересует сам процесс подготовки с точки зрения технологий обучения [1, 2], содержания учебной дисциплины и формируемых умений и компетенций [3–6]. В то же самое время процедуре измерения уровня сформированности иноязычной компетенции уделяется недостаточно внимания. Тем не менее есть публикации о проблемах формирования фонда оценочных средств по программам магистратуры [7–10] и определения оптимальных организационных форм проведения экзаменов.

Цель данной статьи — представить опыт проведения промежуточной аттестации по дисциплине «Иностранный язык в правоведении» в Кузбасском институте ФСИН России и организовать обсуждение вопросов адекватности избираемых методов, форм проверки сформированной компетенции.

Обзор литературы

Действующая нормативно-правовая база организации промежуточной аттестации дает возможность любой образовательной организации устанавливать собственные правила проведения промежуточной аттестации¹ на основании локальных нормативно-правовых актов. Кафедрам, реализующим программы дисциплин, дано право уточнить процедуру реализации промежуточной аттестации и средства оценки сформированности компетенций с учетом специфики конкретной дисциплины.

Применительно к иностранному языку оценочные средства должны проверять уровень способности магистрантов применить современные коммуникативные технологии на иностранном языке для академического и профессионального взаимодействия (УК-4)².

Проблемой разработки фонда оценочных средств, валидности заданий, входящих в него, занимались Л.Г. Ярмолинец, Е.И. Гетман, В.П. Осадчая [11], О.В. Топоркова, Е.В. Новоженина, Т.И. Чечет [12] и другие. Между тем круг освещенных вопросов касался общеметодологических категорий [11, 13], либо примеров проведения оценочных мероприятий текущего характера [14–16], а также промежуточной аттестации, но уровня бакалавриата [12, 16], либо в статьях только упоминается форма проведения промежуточной аттестации магистрантов по иностранному языку [17].

В рамках магистратуры исследования связаны с использованием:

• технологии стендовых докладов для проверки формируемых навыков и умений коммуникации на иностранном языке [1];
• научных стендапов для совершенствования навыков красноречия в академических целях и умения адаптировать свою речь с учетом уровня подготовленности аудитории слушателей [18];
• устных или письменных презентаций в виде изложения, проекта, сочинения, кейса, доклада, статьи [3, 4, 6], выступления на иностранном языке на научной конференции [10].

Приведенные примеры говорят об основных тенденциях в обучении иностранному языку в магистратуре, но не дают ответа на вопрос о том, каким образом следует оценивать комплексную деятельность магистрантов в рамках самой промежуточной аттестации. Т.Ю. Полякова отмечает, что итоговый экзамен в магистратуре содержательно должен коррелировать со вступительным экзаменом в аспирантуру [4]. Автор также указывает на то, какие субкомпетенции должны быть сформированы в рамках изучения иностранного языка.

Подчеркнем, что на данный момент контрольные мероприятия по иностранному языку в магистратуре чаще всего идут по двум направлениям: традиционному с выявлением конкретных знаний, умений и навыков, входящих в описание универсальной компетенции (далее — УК-4) [8], и инновационному (комплексному анализу готовности магистрантов применять иностранный язык в профессиональных и академических целях [1, 3, 18]). Становится очевидным, что инновационный подход является предпочтительным, т. к. он отражает сущность компетенции и позволяет сделать процесс ведения полемики/диалога на иностранном языке аутентичным.

Как показывают исследования [7], сами магистранты также отдают предпочтение активным формам проведения экзаменов (75 % респондентов) с возможностью использования компьютерных технологий в процессе сдачи экзаменационных испытаний (64 % опрошенных). Заметим, что 54 % опрошенных студентов предпочитают устную форму экзамена. Согласно опубликованным этими авторами данным, респонденты высказываются за применение таких активных форм работы, как решение задач (62,5 %), составление проектов документов (39 %) или презентация актуальной проблемы по дисциплине (43 %).

Материалы и методы

Проведенное нами исследование базируется на нескольких научных подходах.

• Компетентностный подход определяет организационную форму проведения экзамена — защита доклада в виде презентации по проблемам, актуальным для осваиваемой образовательной программы, и содержательную характеристику показателей критериально-оценочного аппарата для изучения уровня сформированности иноязычной компетенции обучающихся.
• Системно-функциональный подход позволяет сформировать критериальный аппарат оценивания деятельности магистрантов в процессе сдачи экзамена и выстроить саму процедуру сдачи промежуточной аттестации.
• Личностный подход отражен в возможности выбора студентом темы презентации, ее логического оформления (наглядной части и устного ее сопровождения), озвучивании собственной позиции по освещаемому вопросу и аргументации своей точки зрения в процессе коллективного обсуждения затронутой проблематики и при подведении итогов работы группы.

При проведении исследования использовались теоретические (методы изучения литературных источников, анализа, синтеза, сравнения и обобщения теоретической информации, метод моделирования процедуры проведения промежуточной аттестации по иностранному языку) и эмпирические методы (изучение и обобщение передового опыта, опрос, включенное и невключенное педагогическое наблюдение, педагогический эксперимент). Также применены методы математической статистики: метод вычисления и сравнения элементарных статистик (среднеарифметические показатели успеваемости по учебным годам по каждой субкомпетенции — средний балл), U-критерий Манна-Уитни.

Основным объектом исследования является уровень сформированности УК-4 (ОК-4 до 2021 г.) у магистрантов первого года обучения Кузбасского института ФСИН России, осваивающих образовательную программу по направлению подготовки 40.04.01 Юриспруденция. Экспериментальная работа проводилась в период с 2016–2022 года.

Цель эксперимента — определить целесообразность применения интерактивной формы проведения промежуточной аттестации по дисциплине «Иностранный язык в правоведении». Форма проведения экзамена — презентация и обсуждение перспективных направлений изучения вопросов, связанных с криминологией, уголовным и уголовно-исполнительным правом.

Результативность промежуточной аттестации описывается качественно и количественно с опорой на отобранный критериально-оценочный аппарат (табл. 1). Первостепенное значение приобретает готовность магистрантов к иноязычному общению на профессиональные темы. Количественный анализ представлен качественной и количественной успеваемостью по дисциплине «Иностранный язык в правоведении» (по результатам экзамена) и данными об удовлетворенности магистрантов форматом проводимого экзамена.

Таблица 1. Оценочный аппарат, используемый при проведении промежуточной аттестации магистрантов по дисциплине «Иностранный язык в правоведении» по направлению подготовки 40.04.01 Юриспруденция

Шкала оценивания каждого показателя представлена балльной системой (0, 3–5), где 0 баллов свидетельствует об отсутствии сформированного показателя субкомпетенции, 3 балла — базовый уровень сформированности, 4 балла соответствует системному владению элементом субкомпетенции, а 5 баллов — высокий уровень владения измеряемым показателем субкомпетенции.

Определение наиболее оптимальной организационной формы экзамена осуществлялось посредством чередования форм проведения промежуточной аттестации в течение 2016–2022 годов. В 2018–2019, 2021–2022 учебных годах использовалась интерактивная форма проведения экзамена с организацией коллективного обсуждения научных презентаций (далее — ИФ-1). В 2019–2020, 2020–2021 учебных годах интерактивная форма работы предполагала защиту и индивидуальное обсуждение презентаций в режиме: студент — преподаватель (далее — ИФ-2). 2016–2017 и 2017–2018 учебные года являлись контрольными годами, в течение которых применялась традиционная система сдачи экзамена (далее — ТФ).

Традиционный формат экзамена представлен списком заранее предложенных вопросов, по которым проходит обсуждение по определенному кругу проблем, предложенным преподавателем. В рамках экзамена организуется работа с текстом общепрофессионального характера. На основании проделанной работы преподаватель выставляет магистранту аргументированную оценку.

ИФ-1 предполагает выступление с докладом каждого магистранта перед аудиторией своих коллег-магистрантов. До выступлений объявляется алгоритм работы группы: последовательность выступлений, задачи аудитории слушателей и докладчика, определяется регламент выступления, минимальное количество вопросов, которые может задать аудитория каждому докладчику и сам преподаватель. Озвучиваются номинации для подведения итогов коллективного обсуждения: «Наиболее интересная тема для обсуждения», «Самый содержательный доклад», «Самое понятное сообщение», «Наиболее полезное электронное сопровождение к докладу», «Самый точный докладчик с позиции соблюдения научного стиля общения», «Самый трудный вопрос», «Самый интересный вопрос», «Победитель по ответам на самые каверзные вопросы». Далее организуется работа испытуемых на экзамене. При подведении итогов сначала преподаватель дает возможность высказаться каждому участнику обсуждений (определение победителей по номинациям, анализ успешности/неуспешности выступлений), затем подводит итоги сам и выставляет оценки каждому участнику обсуждения с использованием критериального аппарата оценки сформированности иноязычной компетенции. При необходимости учебную группу можно разбить на подгруппы для проведения защиты работ.

Алгоритм использования ИФ-2: преподаватель информирует магистранта о процедуре работы на экзамене (представление доклада, его временной регламент, форма защиты — ответы на вопросы по теме доклада и перспективных научных исследований или прикладных возможностей обсуждаемой проблемы, а также принцип выставления оценки), проводит сам экзамен, осуществляет комментирование оценки после обсуждения доклада.

Таким образом, независимой переменной в педагогическом эксперименте являлась именно организационная форма проведения экзамена. Численный и возрастной состав учебных групп, уровень языковой подготовленности обучающихся отнесены к зависимым переменным.

В ходе эксперимента необходимо было выявить, какая из организационных форм проведения промежуточной аттестации магистрантов по иностранному языку (ИФ-1, ИФ-2 или ТФ) больше соответствует компетентностному подходу к образованию и способствует наиболее точной оценке УК-4 (ОК-4).

В соответствии с этим, гипотеза нашего исследования формулировалась следующим образом. Если организационная форма проведения промежуточной аттестации отличается от традиционной формы, а ее результаты в виде итоговой оценки всех компонентов компетенции выше, то можно говорить о том, что инновационная форма проведения экзамена является оптимальной, а ее применение позволяет выявить все грани формируемой коммуникативной компетенции.

При подтверждении гипотезы при помощи U-критерия Манна-Уитни показатели должны находиться в зоне значимости. Результаты, находящиеся в зоне неопределенности, свидетельствуют о том, что выявленные отличия могут обладать положительным потенциалом, а новая форма проведения экзамена может быть эффективной при соблюдении дополнительных условий.

Результаты исследования

На основании эксперимента нами были получены следующие результаты:

Количественная успеваемость не изменялась при использовании любой организационной формы экзамена. Она составляла 100 %. Наблюдаются изменения в качественной успеваемости магистрантов (табл. 2).

Таблица 2. Среднеарифметические показатели сформированности коммуникативной компетенции

В первую очередь с помощью U-критерия Манна-Уитни были проанализированы среднеарифметические показатели сформированности УК-4 (ОК-4) по годам, в которых использовалась одинаковая форма сдачи экзамена: ТФ, ИФ-1 и ИФ-2. Цель анализа — существенны ли отличия в количественных показателях иноязычной компетенции при использовании одной и той же организационной формы промежуточной аттестации в разные годы. Статистический анализ показал, что применение ТФ в 2016–2018 гг. (табл. 3) и ИФ-1 в 2018–2019, 2021–2022 учебные года (табл. 4) промежуточной аттестации по дисциплине «Иностранный язык в правоведении» обладают признаками универсальности. Результаты оценивания компетенции по указанным годам не лежат в зоне значимости:

Таблица 3. Результаты для ТФ       

Таблица 4. Результаты для ИФ-1

Алгоритм проведения экзамена в указанной форме ожидаемо дает объективные результаты оценки, при которых такие зависимые переменные, как возраст испытуемых, их количество и уровень языковой подготовленности, уравновешиваются процедурными решениями.

Следует отметить, что внутреннее сравнение результатов эксперимента в режиме ИФ-2 (2019–2021 гг.) позволило выявить различия в экспериментальных данных, которые лежат в зоне значимости (U_Эмп = 0). Анализ учебных групп показал, что на результаты повлиял:

• возраст обучающихся (чем меньше временной разрыв между ступенями получения образования, тем выше показатель зоны значимости);
• уровень языковой подготовленности (уверенности в себе при ответе);
• мотивация (желание доказать себе и другим, что при наличии длительного перерыва в изучении языка достичь хороших результатов в учебно-научной деятельности возможно при наличии опыта профессиональной деятельности).

Необходимо указать, что более высокие результаты в оценке компетенции выпали на период пандемии и сдачи экзамена в режиме видеоконференцсвязи (2019–2020 учебный год). С учетом общей концепции эксперимента изучение влияния онлайн-формата защиты и обсуждения научной презентации нами не предпринималось.

Сравнение двух разновидностей форм инновационного проведения экзамена (ИФ-2 в 2020–2021 учебном году и ИФ-1 в 2021–2022 учебном году) показало отсутствие значимых отличий (U_Эмп =13,5). В обозначенные годы проведение промежуточной аттестации осуществлялось в очном формате.

Дальнейший анализ имеющихся данных по годам педагогического эксперимента производился по среднеарифметическим баллам за каждый период (табл. 5).

Таблица 5. Среднеарифметические показатели сформированности коммуникативной компетенции

В соответствии с замыслом эксперимента осуществлялся анализ значимости переменной ИФ-1 и ТФ, ИФ-2 и ТФ, ИФ-2 и ИФ-1. Результаты отличий полученных U_Эмп приведены в таблице 6.

Таблица 6. Результаты статистической обработки эмпирических данных U-критерий Манна-Уитни

Приведенные статистические данные указывают на наличие корреляции между формой организации промежуточной аттестации и оценкой уровня сформированности коммуникативной (иноязычной) компетенции магистрантов. Проведенная обработка результатов указывает на то, что наиболее оптимальной является интерактивная форма проведения экзамена с использованием защиты доклада в виде презентации. При этом акцент смещается на индивидуальную форму работы с испытуемым (режим «преподаватель — магистрант»).

Однако качественный анализ применяемых форм проверочных мероприятий показал неоднозначность результатов в формировании психологических новообразований респондентов (готовности к иноязычной коммуникации).

Полученные данные свидетельствуют о том, что традиционный способ проверки готовности магистрантов к иноязычному общению (отдельная проверка знаний, умений и навыков применения иностранного языка по аспектам речевой деятельности в виде вопросов в билете) является наиболее экономичным по времени вариантом проведения экзаменов. Качественная успеваемость указывает на адекватный уровень развития иноязычной коммуникативной компетенции магистрантов. В то же самое время следует отметить, что классическая форма не дает возможности выявить все анализируемые показатели дискурсивной (электронное сопровождение речи), стратегической (невербальные средства общения) субкомпетенций. Возможности наблюдения за магистрантами при реализации ими социокультурной и социолингвистической компетенций были минимальны в силу основного режима функционирования коммуникантов «магистрант — преподаватель». Готовность вступать в общение на иностранном языке также ограничивалась указанным режимом взаимодействия и не отражала реальной готовности поддержать разговор или стремления выйти из ситуации речевого затруднения наиболее эффективным способом. Качественно оценка показателей была более формализованной и абстрактной. При указанной форме проведения экзамена этап рефлексии заменяется этапом аргументации итоговой оценки экзаменуемому со стороны преподавателя.

Организация промежуточной аттестации с использованием режима ИФ-1 является наиболее затратной по времени, т.к. предполагает коллективное выслушивание всех докладов, процедуру их обсуждения. Тем не менее у преподавателя, организующего экзамен в таком формате, есть возможность включенного (посредством вопросов к докладчику) и невключенного (в рамках наблюдения за активностью группы, экспресс-анализа вопросов аудитории и ответов докладчика) наблюдения. Результаты данного наблюдения позволяют подтвердить или не подтвердить наличие всех элементов УК-4 (ОК-4) и сделать вывод о готовности магистранта к общению на иностранном языке и адекватно выставить оценку.

Напомним, что коллективное подведение итогов работы после всех выступлений осуществляется в виде рефлексии полученного опыта и краткого анализа всех ответов и выбора самими участниками лучших представителей группы по ранее указанным номинациям. Как показывает опрос магистрантов, указанная рефлексия является для них важной с точки зрения мотивации дальнейшего языкового самообразования и дает чувство удовлетворенности от проделанной работы.

Только 9 % респондентов отмечают в качестве минуса данной формы экзамена — его длительность. В то же самое время 75 % говорят о снижении уровня стресса при прохождении промежуточной аттестации в данном формате, т. к. чувствуют поддержку от своих коллег и речевых партнеров. 16 % отметили возможность дополнительной практики иноязычного общения.

Экзамен в форме защиты докладов в режиме «преподаватель — магистрант» занимает промежуточное положение. В качестве плюса укажем меньшие по сравнению с предыдущей формой экзамена временные затраты. При этом данной форме свойственны те же, что и для традиционной формы экзамена ограничения по выявлению реальной готовности к иноязычному общению на профессиональные и научные темы (социальная и социокультурная субкомпетенции). Однако показатели дискурсивной и стратегической субкомпетенций могут быть измерены в полном формате. Именно этот факт служит основанием для признания такого варианта проведения промежуточной аттестации магистрантов как оптимального. Стоит добавить, что такой способ реализации проверочного мероприятия предпочитают студенты, проявляющие неуверенность в своих силах и испытывающие затруднения в публичном общении (75 % по результатам опроса респондентов). Тем не менее готовность к использованию иностранного языка, даже оцененную на «отлично» в формате ИФ-2, считаем относительной, поскольку не все критерии оценивания компетенции доступны для анализа и рефлексия опыта речевого взаимодействия в полном варианте отсутствует.

Обсуждение и заключения

Предложенный критериально-оценочный аппарат измерения уровня сформированности иноязычной коммуникативной компетенции позволяет выявить систему плюсов и минусов организации промежуточной аттестации по дисциплине «Иностранный язык в правоведении» с использованием различных форм ее проведения.

Выявлено, что фактически все три формы проведения промежуточной аттестации имеют стабильные показатели в виде итоговой оценки за экзамен. Тем не менее проведенный опрос участников эксперимента указывает на наличие отличий в отношении магистрантов к самой процедуре проведения экзаменов. Нами подтверждена тенденция к предпочтению студентами активных форм сдачи промежуточной аттестации [7]. Она рассматривается ими как комфортная для проявления своей компетенции.

Традиционная форма проведения экзамена является формальной и не позволяет в полной мере утверждать, что полученная магистрантом итоговая оценка соответствует его готовности осуществлять иноязычное общение с речевым партнером и решать стоящие перед коммуникантом целевые задачи.

Проведение экзамена с использованием докладов и их коллективным обсуждением и рефлексией выступлений является наиболее оптимальной с точки зрения оценки реальной готовности магистрантов к использованию иностранного языка в профессионально-научных целях и отражает компетентностный подход к образовательной деятельности.

Использование интерактивного взаимодействия в режиме «преподаватель — магистрант» в процессе обсуждения доклада в индивидуальном формате является компромиссным вариантом проведения экзамена, т.к. он отвечает требованию экономичности по времени проведения экзамена и позволяет быстрее произвести оценку уровня сформированности УК-4 (ОК-4). Тем не менее данный вариант не обладает полным набором педагогического инструментария для осуществления оценки личностных и психологических приращений магистрантов (организуемый на этапе рефлексии полученного опыта иноязычного общения).

Тем не менее, в соответствии с ранее сформулированной гипотезой, мы можем констатировать, что интерактивная форма проведения промежуточной аттестации по дисциплине «Иностранный язык в правоведении» является перспективной и более приближенной к оптимальному способу измерения всех компонентов коммуникативной компетенции магистрантов.

Несмотря на то, что организационная форма проведения экзамена является независимой переменной, на результативность ее применения оказывают влияние такие переменные, как мотивы изучения иностранного языка (при наличии значительного разрыва между двумя ступенями образования) и возраст обучающихся (чем меньше временной разрыв между ступенями получения образования, тем выше индивидуальная оценка магистранта). При этом положительная мотивация (стремление показать свою коммуникативную состоятельность) повышает уровень готовности к коммуникации и проявление заинтересованности к процессу коллективного обсуждения докладов. Уточним, что при наличии достаточного промежутка времени между ступенями получения образования (уч. год 2018–2019 и 2020–2021) явного преимущества сдачи экзамена в интерактивной форме в режиме «преподаватель — магистрант» перед интерактивной формой коллективного проведения экзамена не выявлено. Более того, коллективную форму работы предпочитают именно магистранты с большим разрывом между ступенями образования. Индивидуальную защиту и собеседование предпочитают испытуемые, не уверенные в своих силах.

Подводя итог, можно предположить, что интерактивная форма экзамена, несмотря на отличия в режиме обсуждения докладов в виде презентации, способна оптимально выявить уровень компетенции магистрантов.

Однако представленный в статье опыт проведения промежуточной аттестации по дисциплине «Иностранный язык в правоведении» в Кузбасском институте ФСИН России носит дискуссионный характер. Предложенные материалы позволяют организовать обсуждение вопросов, с одной стороны, адекватности избираемых показателей оценки сформированности УК-4, с другой — выявить наиболее оптимальные методы, приемы и формы проверки формируемой компетенции широкой профессиональной общественностью.

Считаем, что проведенный педагогический эксперимент и полученные данные имеют не только практическую значимость, но обладают научной новизной, которая заключается:

• в применении комплекса научных подходов к организации и проведению промежуточной аттестации магистрантов по направлению подготовки 40.04.01 Юриспруденция (компетентностном, системно-функциональном и личностном);
• в разработке и обосновании оценочного аппарата определения уровня сформированности универсальной компетенции обучающихся по дисциплине «Иностранный язык в правоведении» (критерии, показатели и методика оценивания готовности магистрантов к иноязычному общению в целях академического и профессионального взаимодействия);
• в методике проведения промежуточной аттестации по указанной дисциплине в соответствии с избираемой организационной формой экзамена.

¹ Об образовании в Российской Федерации: Федеральный закон от 29.12.2012 № 273-ФЗ (ред. от 11.06.2022) // Российская газета, № 303, 31.12.2012.

² Федеральный государственный образовательный стандарт высшего образования — магистратура по направлению подготовки 40.04.01 Юриспруденция: Приказ Министерства науки и высшего образования Российской Федерации от 25 ноября 2020 г. № 1451 [Электронный ресурс] // Официальный интернет-портал правовой информации. URL: http://pravo.gov.ru, 09.03.2021 (дата обращения: 15.04.2022).

About the authors

Olga V. Igumnova

Author for correspondence.
Email: 1o.igumnova2009@yandex.ru
ORCID iD: 0000-0002-8927-6745
SPIN-code: 3616-5770

Cand. Ped. Sci., Associate Professor of Humanities, Social, Economic and Natural Sciences Department

References

Supplementary files