КОМПЬЮТЕРНЫЕ ТЕСТЫ: ПРИДУМЫВАЕМ ЗАДАНИЯ

Дмитрий Аббакумов, EDUTAINME, 24 марта 2015г.

Как создать качественный компьютерный тест? В прошлых материалах мы рассказывали о разных типах алгоритмов и давали советы по созданию заданий закрытой формы. Помимо них, существуют задания на установление соответствия, задания на установление последовательности и задания открытой формы. Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ, делится практическими советами в новом выпуске рубрики.

Всех интересующихся разработкой тестов приглашаем на однодневный открытый семинар Лаборатории "Конструирование тестов знаний": успейте зарегистрироваться по спеццене!

Задания на установление соответствия

Такие задания содержат два параллельных списка. Первый обычно включает достаточно длинные позиции – это список условий. Испытуемый должен сопоставить каждую позицию из списка условий с позицией из списка ответов. Элементы списка ответов обычно формулируются лаконично. Преимуществами заданий на установление соответствия являются их компактность и возможность охвата большого количества проверяемых знаний. Однако они имеют и недостатки: при их конструировании трудно подобрать однородные списки, а сами задания стимулируют исключительно процессы запоминания фактов.

Задания на установление соответствия требуют очень чётких инструкций. Инструкции должны содержать информацию о том, на каком основании должно устанавливаться соответствие, а также может ли один ответ использоваться дважды или не использоваться вовсе.

ПРИНЦИПЫ СОСТАВЛЕНИЯ ЗАДАНИЙ:

• Оптимальное задание содержит от 4 до 10 условий.
• По возможности составляйте задания так, чтобы количество условий не равнялось количеству ответов (это позволит сократить риск угадывания на последнем этапе работы с заданием).
• При необходимости организуйте условия в логической последовательности, например, в хронологическом порядке или по алфавиту.

Пример задания на установление соответствия:

(инструкция) Запишите в специальном поле для ответов букву, подходящую для каждого элемента из первого (нумерованного) списка. К каждому элементу из первого списка может относиться один элемент из второго списка.
(формулировка задания) При формировании представления о партнере по общению люди используют четыре основных механизма. В левом списке перечислены их названия, а в правом даны определения. Сопоставьте их между собой.

Названия	Определения
1. Атрибуция 2. Эмпатия 3. Идентификация 4. Рефлексия	А. Принятие позиции партнера, восприятие событий его глазами Б. Осознание того, как Вас представляет партнер по общению В. Сопереживание партнеру, повторение его эмоций Г. Приписывание партнеру индивидуальных особенностей, причин, ответственности

Задания на установление последовательности

Подобная форма заданий используется, когда требуется оценить знания этапов и событий какого-либо процесса. Эти задания также требуют чёткой инструкции, из которой должно быть понятно, в какой форме нужно фиксировать последовательность. Оптимально, если задание содержит от 3 до 7 элементов. А главным при конструировании таких заданий является то, чтобы используемая последовательность не являлась искусственной (например, известной и понятной только автору задания).

Задания открытой формы

Есть два типа заданий: с коротким ответом и с развернутым ответом. Задания с коротким ответом могут быть организованы как вопросы или как задания на дополнение. Задание-вопрос представляет собой конкретный вопрос, на который можно ответить одним словом, фразой, числом или символом. Задание на дополнение – это неполное утверждение, которое необходимо дополнить одним словом, фразой, числом или символом. Неоспоримым преимуществом заданий с коротким ответом является очень низкая вероятность угадывания. Недостатком является то, что при их конструировании необходимо учесть все варианты, которые могут быть правильными. Для задание с коротким текстовым ответом важно не забыть о нюансах согласования. А для заданий с числовым ответом – о количестве знаков после запятой или интервале значений.

При конструировании заданий с коротким ответом нужно избегать невольных подсказок, когда формулировка вопроса или утверждения наводит на правильный ответ; а также большого количества пропусков, так как тогда может потеряться смысл задания.

Задания с развернутым ответом предполагают, что ответ испытуемого на поставленный вопрос будет содержать несколько предложений или ответом будет законченный короткий текст. Эти задания позволяют оценить навыки интерпретации, анализа и оценки применительно к конкретным ситуациям. Их преимуществом является то, что они сочетают в себе разные мыслительные процессы, дают испытуемому возможность самому конструировать ответ, оценивают и развивают навыки письменной речи. Однако такие задания являются сложными и дорогостоящими с точки зрения проверки. Часто компьютер для таких заданий выполняет лишь функцию сбора ответов, а не их проверки. Для обеспечения объективности необходимо привлечение 2-3 экспертов. Тем не менее, важно отметить, что в настоящее время активно внедряются машинные способы проверки таких заданий, результаты которых сопоставимы с экспертными оценками, например, при проверке эссе в компьютерных тестах на знание английского языка.

ПЯТЬ СОВЕТОВ РАЗРАБОТЧИКАМ ЗАДАНИЙ С РАЗВЕРНУТЫМ ОТВЕТОМ:

• Используйте такие задания только в тех случаях, где оценка другими, более объективными способами, не применима.
• Убедитесь, что задание соотносится с целями обучения.
• Для заданий с ограниченным объёмом четко задайте объём и элементы содержания.
• Для заданий со свободным объёмом дайте четкие рекомендации по выполнению и оформлению, а также минимальные требования к содержанию.
• Установите время выполнения.

Пример неудачной формулировки задания с развернутым ответом:

Почему символы так важны в произведении «451 градус по Фаренгейту»?

Пример оптимизированной формулировки задания с развернутым ответом:

Символы очень важны в произведении «451 градус по Фаренгейту». Какие три, по Вашему мнению, являются наиболее важными в нём? Опишите их и выделите их роль и смысл в этом произведении.

Итак, мы разобрались в основных формах тестовых заданий, используемых в компьютерном тестировании. Следующий материал будет посвящен одному из важнейших этапов в разработке теста – экспертизе качества тестовых заданий.

При подготовке текста использовались материалы лекций академического руководителя магистерской программы «Измерения в психологии и образовании» к. психол. н. Екатерины Алексеевны Орел.

Все статьи цикла по порядку: "Компьютерные тесты: от линейности к адаптивности" "Как создать идеальный компьютерный тест?" "Компьютерные тесты: придумываем задания" "Компьютерные тесты: проводим экспертизу" "Компьютерные тесты: проводим апробацию" "15 идей для авторов тестовых заданий"