Разработка тестов знаний требует знаний?

Есть в жизни довольно много дел, о которых практически каждый имеет собственное «обоснованное» мнение и даже считает, что он (она) вполне способны к выполнению этих дел. К таковым, например, относится политика, шоу-бизнес, вождение автомобиля. Вопросы управления компанией (подразделением) тоже могут считаться лидерами по количеству людей, которые готовы уверенно рассуждать на тему правильности/неправильности принятых решений и давать ценные рекомендации.

В HR сфере к таким вопросам безусловно относится оценка персонала. Как известно, многие руководители (если не большинство)  уверены в своей способности проницать кандидатов насквозь и узнавать в них будущих сотрудников.

Как ни странно, это же относится и к такой, казалось бы, специфической области как тестирование. Попроси любого бизнес-тренера «накидать» тест по его тренингу – за 10 минут Вы увидите готовый продукт, при помощи которого якобы можно измерить уровень освоения учащимися пройденного курса. Нужен опросник на определение стилей управления – полдня работы с учебником по менеджменту плюс интернет, и методика готова.

Два интересных ученых и человека – Анна Науменко и Екатерина Орел – подготовили отличную статью по этой теме. Они анализируют влияние индивидуальных особенностей составителей тестов на последующие результаты участников. И, среди прочего, они приводят данные, которые меня поразили своей ежедневной встречаемостью и при этом абсолютной глупостью:

В исследовании Р.Марсо и Ф.Пиджи учителя, завучи школ и супервизоры учебных программ оценивали навыки создания тестов у учителей [Marso, Pigge, 1989]. Выяснилось, что наиболее высоко свои навыки оценивают сами преподаватели, чуть ниже – завучи и наиболее низко – супервизоры <…>

Интересно, однако, что между реальным качеством заданий и самооценкой учителя связи обнаружено не было [Boothroyd et al., 1992], либо она и вовсе была отрицательной [Marso, Pigge, 1989]. Важно также, что профессиональный опыт учителей (в исследовании Марсо и Пиджи они были разделены на три группы по опыту работы – от 1 до 3 лет, от 4 до 6 лет, от 7 до 10 лет) не влиял на качество заданий, которые они составляли.

То есть новички, проработавшие в школе всего один год, так же успешны (или неуспешны) в качестве авторов тестовых заданий, как и более опытные учителя с 10-летним стажем. Дело не в профессионализме, педагогическом опыте учителя или его знаниях предметной области, а в навыках конструирования тестовых заданий.

На мой взгляд, ситуация очень серьезная. Ведь на местах люди творят что хотят (и в школе, и в компаниях), и даже не подозревают, что  есть какая-то проблема в их психометрической (тестологической) некомпетентности.

Заметьте – это никак не связано с вопросом компетентности специалистов в конкретном предмете (истории, математике, ИТ, менеджменте). Дело именно в том, что разработать профессиональный измерительный инструмент – это особая тема, в которой требуются совершенно специфические знания и навыки.

Ведь, например, ни одному врачу не приходит в голову «не зная броду» начать всерьез делать градусники или тонометры. Медицина проделала огромный путь, где в начале пути измерение температуры троганием лба, а на текущий момент это электронные приборы и динамическая термометрия.

Очевидно, что врач должен уметь пользоваться этими предметами, но это никак не означает, что он самопально соорудит что-то стоящее.

______

Так может и нам уже пора осознать, что есть особые технологии производства наших «термометров» (тестов, опросников)? А ведь они действительно ЕСТЬ! И, что самое главное, они позволяют достигать достаточно высокого качества измерения,  принципиально отличного от настряпанных на скорую руку измерителей непонятно чего.