КОМПЬЮТЕРНЫЕ ТЕСТЫ: ПРОВОДИМ ЭКСПЕРТИЗУ

Дмитрий Аббакумов, EDUTAINME, 13 мая 2015г.

Как создать качественный компьютерный тест? В прошлых материалах мы рассказывали о разных типах алгоритмов, давали советы по созданию заданий закрытой формы и более сложных их видов. Когда тестовые задания разработаны, наступает время следующего этапа – экспертизы. Экспертиза очень важна, так как в это время задания очищаются от ошибок и неточностей, которые встречаются даже у самых опытных разработчиков. Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ, делится практическими советами в новом выпуске рубрики.

Всех интересующихся разработкой тестов приглашаем на однодневный открытый семинар Лаборатории "Конструирование тестов знаний": успейте зарегистрироваться по спеццене!

Начинается экспертиза с поиска и привлечения экспертов. Минимальное требование к экспертам – специализация на тематике теста. При этом желательно, чтобы эксперты были знакомы с правилами конструировании тестовых заданий. Эксперты могут отличаться, пересекаться или совпадать с авторами заданий. Эксперты могут быть как внутренними, так и внешними по отношению к организации, в которой разрабатывается и/или планируется к внедрению тест.

Качество экспертизы во многом зависит от количества экспертов. Рекомендуется минимум три эксперта, не считая автора задания, для оценки каждого тестового задания. Важно ответственно отнестись и к планированию объемов работы. В качестве ориентира А. Г. Шмелев в книге «Практическая тестология» приводит следующее соотношение: 100-150 тестовых заданий на 1 день работы эксперта в режиме двух сеансов по 2-3 часа с перерывом между ними (имеются в виду задания с выбором одного ответа).

После того как команда экспертов собрана, необходимо организовать их работу.

ПОРЯДОК РАБОТЫ ЭКСПЕРТА С КАЖДЫМ ОТДЕЛЬНЫМ ЗАДАНИЕМ:

1. Найти или сформулировать правильный ответ в зависимости от типа задания.
2. Оценить качество задания, обращая внимание на ясность и лаконичность формулировок, отсутствие ошибок и неточностей, по трехбалльной (высокое, среднее, низкое) или по пятибалльной шкале (очень высокое, высокое, среднее, низкое, очень низкое) с письменной аргументацией своей оценки.
3. Оценить трудность задания по трехбалльной (высокая, средняя, низкая) или по пятибалльной (очень высокая, высокая, средняя, низкая, очень низкая).
4. Оценить соответствие задания теме теста, например, в двоичной логике да/нет.

Количественная оценка качества заданий дает возможность измерить согласованность мнений экспертов. Если все эксперты оценили задание как качественное – оно остается в банке заданий. Если эксперты согласованно отвергают задание – оно удаляется из банка заданий. При отсутствии согласия у экспертов требуется доработка задания . В этом случае будет полезно обратиться к аргументации экспертов (см. пункт 2 выше). Зачастую в порядок экспертизы включают дополнительный пункт, предлагающий экспертам предложить свои варианты доработки некачественного задания. В этом случае доработка «спорного» задания становится еще проще.

Очень важным элементом процедуры экспертизы является анонимность. Только в этом случае можно рассчитывать на откровенность экспертов и можно доверять полученным оценкам.

ТРИ КЛЮЧЕВЫХ ПРИЗНАКА НЕКАЧЕСТВЕННЫХ ЗАДАНИЙ:

1. Задание не связано с темой теста.
2. Указанный автором правильный ответ является спорным.
3. Задание имеет неточности в формулировках, грамматические, орфографические или пунктуационные ошибки.

Экспертизу удобнее проводить в электронной форме. Для этого можно использовать сервисы Google Forms или Survey Gizmo, которые позволяют собрать оценки и затем проанализировать их с использованием возможностей MS Excel или любой программы для статистического анализа данных. Можно воспользоваться специализированными сервисами, например, HT-LINE, достоинством которого является автоматический анализ результатов экспертизы и их наглядное отображение.

Экспертиза является непростым этапом разработки компьютерного теста. Поиск и привлечение экспертов (а они зачастую являются очень занятыми людьми), необходимость удаления заданий, которые разрабатывались с таким трудом, но оказались некачественными – превращают экспертизу в настоящее испытание не для слабонервных. Но важно понимать, что качество тестовых заданий, получающихся в итоге, того стоит.

При подготовке текста использовались материалы книги А. Г. Шмелева «Практическая тестология»

Все статьи цикла по порядку: "Компьютерные тесты: от линейности к адаптивности" "Как создать идеальный компьютерный тест?" "Компьютерные тесты: придумываем задания" "Компьютерные тесты: проводим экспертизу" "Компьютерные тесты: проводим апробацию" "15 идей для авторов тестовых заданий"