20.01.2015
Время чтения: 3 минуты
КОМПЬЮТЕРНЫЕ ТЕСТЫ: ОТ ЛИНЕЙНОСТИ К АДАПТИВНОСТИ
Дмитрий Аббакумов, EDUTAINME, 20 января 2015г.Несмотря на всё разнообразие, компьютерные тесты часто воспринимаются как бланки, переведенные в цифровой вид. На самом деле у компьютерного тестирования гораздо больше преимуществ: технологии позволяют расширить спектр измеряемых конструктов, оперативно обрабатывать результаты и обеспечивать обратную связь. Мало того, новая форма влияет и на содержание тестирования. Edutainme открывают рубрику, где будут разбираться, какими бывают тесты и как их проводить.
#IMAGE_0#
Дмитрий Аббакумов – автор и преподаватель курса «Теория и практика компьютерного тестирования» магистерской программы «Измерения в психологии и образовании» ВШЭ; руководитель Лаборатории адаптивных образовательных технологий ВШЭ.
ЛИНЕЙНЫЕ ТЕСТЫ
Простейший алгоритм тестирования – линейный: главное отличие от традиционного формата состоит в том, что испытуемый получает не бумажный, а виртуальный бланк теста. Часто участникам достаются одинаковые варианты, поэтому высок риск списывания. Основным способом защиты от списывания является применение рандомизации. Для каждого испытуемого в случайном порядке формируется вариант теста из единого хранилища заданий. Можно перемешать варианты ответов - тогда защита от списывания существенно увеличится. Рандомизированное тестирование иногда рассматривают как отдельный алгоритм.
Для проведения линейного тестирования созданы сотни (или даже тысячи) инструментов, хотя качественных среди них немного. Сервис Google Forms широко доступен, позволяет рандоминизировать ответы и выгружать данные в формате Excel. При этом в Google Forms не встроены инструменты для психометрического анализа, что затрудняет оценку работоспособности теста. Еще отмечу платный инструмент HT-Line, позволяющий создавать и проводить тесты, а также автоматически анализировать результаты. Кроме этого, сервис рассчитывает статистику, позволяющую сделать вывод о качестве отдельных заданий и теста в целом.
При линейном и рандомизированном тестировании всем участникам попадаются варианты одинаковой сложности: количество простых и трудных заданий для каждого совпадает.
МНОГОСТУПЕНЧАТЫЕ ТЕСТЫ
Адаптивные алгоритмы позволяют тесту подстраиваться под испытуемого, меняя трудность в зависимости от полученных ответов. Хотя подобные алгоритмы отнюдь не просты, сравнительно доступным в реализации является многоступенчатое тестирование. Задания в нем разделены на несколько уровней сложности – обычно не более пяти, а вопросы одного уровня объединены в блоки по 3-6 заданий в каждом.
Тестирование начинается с «разведочного» блока заданий (от 10 вопросов разной сложности): если участник на все ответит правильно, то получит блок сложных заданий. Справившись с этим блоком, а потом еще с одним таким же, испытуемый получит наивысшую оценку. Если же в разведочном блоке участник решит простые и частично средние задания, то потом ему предложат задания средней трудности. Правда, если с первым блоком он справится успешно, то напоследок получит блок заданий высокой трудности; если наделает ошибок - третий блок будет простым. Таким образом, разведочный блок не предопределяет дальнейшую трудность заданий, а лишь указывает на потенциальный уровень знаний испытуемого. Итоговый балл подсчитывается по сложной схеме, в которой учитывается вес заданий, их трудность и количество верных ответов.
АДАПТИВНЫЕ ТЕСТЫ
Наиболее совершенным и сложно организованным адаптивным алгоритмом обладает компьютерное адаптивное тестирование. Для каждого испытуемого формируется индивидуальный набор заданий – новые вопросы выбираются в зависимости от ответа на предыдущие. То есть уровень подготовленности студента и ошибка измерения переоцениваются после каждого шага. Обычно тестирование заканчивается, когда достигается максимально возможная точность измерения.
Адаптивные тесты отличаются особой эффективностью. Во-первых, они примерно в два раза короче, чем линейные, во-вторых, позволяют максимально точно оценить уровень подготовки каждого участника. Кроме того, испытуемым не приходится тратить время и силы на слишком простые или слишком сложные задания, что уменьшает влияние дополнительных факторов - утомление, беспокойство, неаккуратность. Участники такого тестирования обычно более мотивированы и спокойны.
Нужно отметить, что для проведения адаптивных тестов часто приходится разрабатывать отдельные алгоритмы для каждого случая. Разработка стоит дорого, но цена оправдывается преимуществами – например, если нужно получить особо точные результаты во время вступительных или выпускных экзаменов.
ОТ ЛИНЕЙНОСТИ К АДАПТИВНОСТИ
В таблице приведена сравнительная характеристика всех четырех рассмотренных алгоритмов. Учитывались следующие критерии: эффективность (баланс точности измерения и количества заданий), надежность и защита от списывания, трудоемкость разработки и реализации (необходимость и сложность сопутствующих исследований, сложность создания программного обеспечения и пр.), стоимость внедрения.
Дмитрий Аббакумов – автор и преподаватель курса «Теория и практика компьютерного тестирования» магистерской программы «Измерения в психологии и образовании» ВШЭ; руководитель Лаборатории адаптивных образовательных технологий ВШЭ.
ЛИНЕЙНЫЕ ТЕСТЫ
Простейший алгоритм тестирования – линейный: главное отличие от традиционного формата состоит в том, что испытуемый получает не бумажный, а виртуальный бланк теста. Часто участникам достаются одинаковые варианты, поэтому высок риск списывания. Основным способом защиты от списывания является применение рандомизации. Для каждого испытуемого в случайном порядке формируется вариант теста из единого хранилища заданий. Можно перемешать варианты ответов - тогда защита от списывания существенно увеличится. Рандомизированное тестирование иногда рассматривают как отдельный алгоритм.
Для проведения линейного тестирования созданы сотни (или даже тысячи) инструментов, хотя качественных среди них немного. Сервис Google Forms широко доступен, позволяет рандоминизировать ответы и выгружать данные в формате Excel. При этом в Google Forms не встроены инструменты для психометрического анализа, что затрудняет оценку работоспособности теста. Еще отмечу платный инструмент HT-Line, позволяющий создавать и проводить тесты, а также автоматически анализировать результаты. Кроме этого, сервис рассчитывает статистику, позволяющую сделать вывод о качестве отдельных заданий и теста в целом.
При линейном и рандомизированном тестировании всем участникам попадаются варианты одинаковой сложности: количество простых и трудных заданий для каждого совпадает.
МНОГОСТУПЕНЧАТЫЕ ТЕСТЫ
Адаптивные алгоритмы позволяют тесту подстраиваться под испытуемого, меняя трудность в зависимости от полученных ответов. Хотя подобные алгоритмы отнюдь не просты, сравнительно доступным в реализации является многоступенчатое тестирование. Задания в нем разделены на несколько уровней сложности – обычно не более пяти, а вопросы одного уровня объединены в блоки по 3-6 заданий в каждом.
Тестирование начинается с «разведочного» блока заданий (от 10 вопросов разной сложности): если участник на все ответит правильно, то получит блок сложных заданий. Справившись с этим блоком, а потом еще с одним таким же, испытуемый получит наивысшую оценку. Если же в разведочном блоке участник решит простые и частично средние задания, то потом ему предложат задания средней трудности. Правда, если с первым блоком он справится успешно, то напоследок получит блок заданий высокой трудности; если наделает ошибок - третий блок будет простым. Таким образом, разведочный блок не предопределяет дальнейшую трудность заданий, а лишь указывает на потенциальный уровень знаний испытуемого. Итоговый балл подсчитывается по сложной схеме, в которой учитывается вес заданий, их трудность и количество верных ответов.
АДАПТИВНЫЕ ТЕСТЫ
Наиболее совершенным и сложно организованным адаптивным алгоритмом обладает компьютерное адаптивное тестирование. Для каждого испытуемого формируется индивидуальный набор заданий – новые вопросы выбираются в зависимости от ответа на предыдущие. То есть уровень подготовленности студента и ошибка измерения переоцениваются после каждого шага. Обычно тестирование заканчивается, когда достигается максимально возможная точность измерения.
Адаптивные тесты отличаются особой эффективностью. Во-первых, они примерно в два раза короче, чем линейные, во-вторых, позволяют максимально точно оценить уровень подготовки каждого участника. Кроме того, испытуемым не приходится тратить время и силы на слишком простые или слишком сложные задания, что уменьшает влияние дополнительных факторов - утомление, беспокойство, неаккуратность. Участники такого тестирования обычно более мотивированы и спокойны.
Нужно отметить, что для проведения адаптивных тестов часто приходится разрабатывать отдельные алгоритмы для каждого случая. Разработка стоит дорого, но цена оправдывается преимуществами – например, если нужно получить особо точные результаты во время вступительных или выпускных экзаменов.
ОТ ЛИНЕЙНОСТИ К АДАПТИВНОСТИ
В таблице приведена сравнительная характеристика всех четырех рассмотренных алгоритмов. Учитывались следующие критерии: эффективность (баланс точности измерения и количества заданий), надежность и защита от списывания, трудоемкость разработки и реализации (необходимость и сложность сопутствующих исследований, сложность создания программного обеспечения и пр.), стоимость внедрения.
| Эффективность | Надежность и защита от списывания | Трудности разработки и реализации | Стоимость внедрения | |
|---|---|---|---|---|
| Линейное | Низкая | Низкая | Низкая | Низкая |
| Рандомизированное | Низкая | Средняя | Низкая/Средняя | Средняя |
| Многоступенчатое | Высокая | Средняя | Средняя | Средняя |
| Адаптивное | Оч. высокая | Высокая | Высокая | Высокая |
Линейные тесты могут стать отличным инструментом в случаях оценки текущей успеваемости группы. Низкую надежность можно компенсировать подготовкой нескольких вариантов и личным контролем дисциплины в процессе тестирования. Выбрать между рандомизированным и многоступенчатым тестированием поможет определение приоритетов в паре «требуемая эффективность» и «трудоемкость разработки и реализации». Наконец, при необходимости внедрения наиболее высокоточных измерений в образовании, компьютерное адаптивное тестирование станет лучшим решением.
Все статьи цикла по порядку:
|
0 комментариев
Написание комментария требует предварительной регистрации на сайте
Комментариев пока нет, будьте первым
Хотите подобрать тест для оценки?
В нашем арсенале более 30 тестов оценки личностных, мотивационных особенностей, IQ, управленческого потенциала, рискованного поведения, самопознания и др.
Оставьте заявку на бесплатную консультацию специалиста!
