Адаптивное тестирование в практике диагностики способностей и знаний

Содержание

• Адаптивное тестирование: основные принципы
• Тест интеллектуального потенциала - ТИП (адаптивный)
• ЛИТЕРАТУРА

В начале апреля 2006 года HR-лаборатория "Гуманитарные Технологии" выпустила методику диагностики структуры интеллекта, основанную на современной технологии адаптивного тестирования (Item Response Theory - IRT). Следует отметить, что данная методика - второй продукт лаборатории, в котором реализован принцип адаптивного тестирования. Первый - система тестирования знаний "Телетестинг", в которой принцип адаптивного тестирования был успешно внедрен в 1998 году (см. "Тесты старшеклассников и абитуриентов. Телетестинг", 2000-2001).

Теория "Задание-ответ" (IRT) широко известна на Западе, однако, к сожалению, пока не очень знакома специалистам в нашей стране, которые пока еще в большинстве своем недостаточно овладели даже основами классической теории тестов, сформировавшейся на Западе еще в 30-40 годы прошлого века. Так, недавно на сайте www.ht.ru было проведено голосование, в котором предлагалось ответить на вопрос: "Как Вы относитесь к адаптивному тестированию?". Результаты показали, что 24 % посетителей сайта (с учетом того, что это люди, интересующиеся психодиагностикой и тестированием) не знают, что такое адаптивное тестирование. При этом среди тех, кому знакома технология адаптивного тестирования, наиболее популярным оказался вариант ответа "считаю, что это очень перспективный и практичный универсальный метод, значительно сокращающий временные затраты на тестирование и увеличивающий точность оценки" - 37 % посетителей сайта.

В связи с этим мы посчитали нужным предоставить интересующимся краткое описание сути адаптивного тестирования. Надо сказать, что центральная идея адаптивного тестирования давно была интуитивно понята педагогами и продолжает использоваться ими, особенно в практике проведения экзаменов и других контрольных процедур. Дело в том, что педагог обычно начинает экзамен, задавая студенту вопрос средней сложности. В случае если студент успешно с ним справляется, следующий вопрос оказывается более сложным, и так далее, пока педагог не увидит максимальный доступный для студента уровень. Очевидно, что использование одинаковых вопросов для всех студентов (например, сложных вопросов для слабых студентов или легких для хорошо подготовленных) - неэффективная стратегия. Тем не менее в практике тестирования в нашей стране идеи адаптивного тестирования используются пока неактивно. С целью ознакомления с основными идеями данного вида оценки приведем отрывки из монографии М.Б. Челышковой, ведущего специалиста в области адаптивного тестирования в нашей стране ("Адаптивное тестирование в образовании (теория, методология, технология)", 2001).

Адаптивное тестирование: основные принципы

Как отмечает М.Б. Челышкова "в последние годы в практике образования складывается ситуация, под влиянием которой традиционное тестирование, осуществляемое с помощью стандартизированных тестов фиксированной длины, перерастает в современные эффективные формы адаптивного тестирования, базирующегося на отличных от традиционных теоретико-методологических основах и иных технологиях конструирования и предъявления тестов…

На протяжении ряда лет вопросы адаптивного тестирования неоднократно привлекали внимание зарубежных ученых. Об этом свидетельствуют многочисленные исследования фундаментального характера и публикации таких авторов как J.A. Arter, R.K. Hambleton, J.L. Horn, C.D. Jensema, G.G. Kingsbury, F.M. Lord, J. Millman, L. Nauels, R.J. Owen, K.J. Patience, M.D. Reckase, J. Spray, H. Swaminathan, V.W. Urry, M. Waters, D.J. Weiss, R.W. Wood, A.R. Zara и многих других. С начала 90-х годов компьютерное адаптивное тестирование получило за рубежом широкое признание в сфере практики. В значительной мере этому способствовали прикладные теоретические исследования таких ученых, как C.V. Bunderson, D.K. Inouye, G.G. Kingsbury, J.B. Olsen, H. Wainer, D.J. Weiss, работы которых были не только поддержаны педагогической общественностью, но и нашли широкое применение в практике профессионального отбора в ряде структур промышленного и военного комплексов" (Челышкова, с. 4-6).

Так что же представляет собой адаптивное тестирование и по какой причине оно вызывает интерес специалистов, занимающихся психологическим тестированием или тестированием знаний?

"Основная идея, движущая исследователей в сфере адаптивного тестирования, заключается в том, что тестовые задания необходимо адаптировать (подогнать) по трудности к уровню подготовленности испытуемых в тестируемой группе. При этом исследователи исходят из тех соображений, что слабым испытуемым бесполезно давать трудные задания, так как с большой вероятностью они не сумеют их выполнить верно. Отдельные исключения из сформулированного выше утверждения, конечно, бывают, но они крайне нежелательны, поскольку приводят к снижению валидности профилей ответов слабых испытуемых, способствуя тем самым росту ошибочного компонента в их тестовых оценках.

Столь же бесполезными выглядят легкие задания при тестировании сильных испытуемых. Очевидно, что использование слишком легких заданий может привести к тому, что все или почти все получат примерно одинаковые высокие баллы и, следовательно, измерение не состоится по причине несоответствия уровня трудности заданий подготовленности тестируемых учеников или студентов.

Эта очевидная связь между трудностью заданий и подготовленностью испытуемых натолкнула исследователей на мысль об исключении бесполезных заданий и повышении таким путем эффективности теста. Если процесс адаптации организован верно, то исключение должно привести к оптимизации состава теста, сокращению времени тестирования при условии сохранения либо увеличения точности измерений по сравнению с той, которая могла бы быть достигнута в традиционном тесте фиксированной длины.

Поскольку все испытуемые отличаются по уровню подготовленности, оценки которой к тому же меняются по мере выполнения теста, очередное задание приходится подбирать, подстраиваясь под текущие оценки. Из этих соображений легко предположить, что адаптивный тест состоит из заданий, каждое из которых на момент предъявления было оптимальным по трудности для текущего результата тестируемого. Также легко понять, что все адаптивные тесты внутри группы тестируемых состоят из разных заданий и отличаются по количеству и трудности тем сильнее, чем больше разброс по подготовленности среди испытуемых тестируемой группы" (Челышкова, с. 16-17).

В итоге, адаптивное тестирование определяется как "совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающую прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления применительно к особенностям подготовки тестируемых обучающихся" (Челышкова, с. 28).

Тест интеллектуального потенциала - ТИП (адаптивный)

В 2006 году лаборатория "Гуманитарные Технологии" разработала методику, основанную на принципах адаптивного тестирования. Методика получила название "Тест интеллектуального потенциала - ТИП (адаптивный)"; её основное назначение - экспресс-диагностика интеллектуальных способностей людей различных возрастных групп. Тест методологически основан на однопараметрической модели G.Rasch.

ТИП может использоваться менеджером по персоналу, школьным психологом, консультантом в службе занятости, сотрудником центра профориентации и другими заинтересованными специалистами.

Как и другие методики лаборатории, направленные на диагностику интеллекта, ТИП измеряет уровень выраженности способностей испытуемого по шести сферам:

• вычисления (математический интеллект, видение закономерностей в числовых рядах);
• лексика (активный словарный запас);
• эрудиция (широта кругозора);
• зрительная логика (конструктивно-технические способности, пространственное мышление);
• абстрактная логика (стратегическое мышление, способности к анализу-синтезу);
• внимание (способность к мобилизации, концентрации внимания).

Кроме того, испытуемый получает генеральную оценку интеллекта (общий балл по 6 шкалам). Результаты представляются в стандартизованной шкале стенов (1-10) со средним значением 5,5 и условной нормой 3,5-7,5 баллов.

Однако, в отличие от традиционных методов диагностики интеллекта, адаптивный ТИП позволяет варьировать в каждом индивидуальном случае количество и сложность вопросов. Каждый следующий вопрос зависит от правильности или неправильности ответов на предыдущие вопросы. Это возможно благодаря постоянному пересчету уровня подготовленности испытуемого: в случае правильного очередного ответа, на следующем шаге предлагается более сложный вопрос, в случае неправильного очередного ответа - более легкий.

Данная технология наглядно продемонстрирована на приведенном далее графике: по оси абсцисс откладывается номер вопроса, предъявляемого испытуемому, по оси ординат - уровень подготовленности испытуемого и сложность вопросов (в единой шкале логитов). На графике заметно, что в случае успешного ответа испытуемого следующий вопрос имеет большую сложность, и наоборот. Таким образом, тест подстраивается под уровень подготовленности испытуемого: заведомо слишком легкие или слишком трудные для испытуемого задания не предъявляются, что позволяет существенно сократить время, необходимое на прохождение тестирования. Этот момент крайне существенен в случаях массового тестирования или при прохождении одним испытуемым большой батареи методик.

Кривая зависимости уровня трудности предъявляемого задания от его номера в сеансе тестирования.

Не менее важным является вопрос секретности заданий: для каждого испытуемого набор заданий является уникальным, в результате чего минимизируется возможность подсказок, выучивания правильных ответов и т.д. При повторном прохождении теста испытуемый также вынужден решать новые задания, что уменьшает влияние эффекта тренированности. Банк заданий содержит 450 вопросов (по 75 вопросов на шкалу), относящихся к различным уровням сложности. Количество вариантов ответов для большинства вопросов расширено до 5 (традиционно их было 4), что уменьшает влияние эффекта угадывания на результаты тестирования.

Очевидно, что в данном случае алгоритм адаптивного тестирования является более "жестким" в отношении возможного эффекта экзаменационного (тестового) стресса: после выполнения первого задания программа осуществляет "резкий скачок" к значительно более трудному заданию, но зато в последующих пробах колебание кривой трудности довольно быстро затухает (см. график), так что уже к 20 заданию достигается стабилизация в рамках определенного доверительного интервала, допустимого с точки зрения ошибки измерения, типичной для тестов интеллекта. Важно подчеркнуть, что такой подход с психологической точки зрения оправдан тем, что "затухание кривой трудности" производится отдельно и независимо для каждой субшкалы теста ТИП - отдельно для "числового интеллекта", "вербального", "визуального", "эрудиции", "речевой логики" и т.п. Тем самым испытуемый, поднимаясь по шкале трудности довольно быстро в рамках одного тематического блока (субшкалы), остается на довольно щадящих по трудности заданиях в рамках того блока, который ему удается менее всего.

Выдаваемая тестовой программой интерпретация результатов тестирования не только констатирует наличие и уровень выраженности соответствующих способностей у испытуемого, но и позволяет соотнести их с перспективой успешности или неуспешности самореализации испытуемого в определенной профессиональной сфере.

ЛИТЕРАТУРА

• Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология)". - М: Исследовательский центр проблем качества подготовки специалистов, 2001. - 165 с.
• Шмелев А.Г. (главный редактор). Тесты для старшеклассников и абитуриентов. Телетестино. - М: Первое сентября, 2000-2001. Ежегодник.
• Шмелев А.Г., Ларионов А.Г. Адаптивное тестирование знаний в системе "Телетестинг" // IX международная конференция-выставка "Информационные технологии в образовании": Сборник трудов участников конференции. Часть II. - М.: МИФИ, 1999. С.405
• Шмелев А.Г., Ларионов А.Г. Телетестинг: надежность и валидность результатов. - "Школьные технологии", 2001.
• Шмелев А.Г. Компьютеризация экзаменов: проблема защиты от фальсификаций. - Тезисы международной конференции "Информационные технологии в образовании". - Москва: ИПИ РАН, 2001.
• Шмелев А.Г. Опыт применения компьютерного тестирования знаний при обучении студентов психологов // Вестник Моск. Ун-та. Психология. 2002, 4.