10 ошибок разработчиков профтестов и как их избежать

Содержание

• 10. Грамматические ошибки и рассогласования
• 9. Использование в формулировке задания частицы «не»
• 8. Запутанные задания
• 7. Попытка измерить поведение, а не знания
• 6. Отсутствие в задании правильного ответа
• 5. Недостаточное число заданий в субтесте
• 4. Недостаточное внимание к информационной безопасности
• 3. Разработка тестов знаний под уникальные малочисленные специальности
• 2. Использование непроверенных заданий
• 1. Отсутствие целостного технологического подхода к тестированию знаний

Создать хороший тест профессиональных знаний не так-то просто. В этой кухне есть свои тонкости. Не владея ими, даже самый квалифицированный эксперт рискует наделать массу ошибок. С этими ошибками нам и приходится регулярно бороться, внедряя методологию разработки и проведения профтестов. Проверьте себя и попробуйте применить рецепт эффективного тестирования персонала, созданный в Лаборатории «Гуманитарные Технологии».

Как в любом рейтинге, давайте начнем с конца. Пусть интрига нарастет :)

10. Грамматические ошибки и рассогласования

Удивительно, но в тестовых заданиях грамматические ошибки и несуразицы встречаются гораздо чаще, чем в обычной письменной речи. Как правило, это связано с тем, что уже написанное задание корректируется и содержательно становится лучше, но форма его при этом страдает. Например, три варианта ответа оказываются сформулированы в одном падеже, а один – в другом. Это не только дополнительно запутывает тестируемого (что уже плохо, но об этом — ниже), но и снижает доверие к экспертности авторов теста. «Что это за эксперт, если он двух слов связать не может? А еще проверяет мои знания!»

9. Использование в формулировке задания частицы «не»

Пожалуй, самая известная ошибка – использование частицы «не». В редкой статье-руководстве по разработке профтестов отсутствует запрет на эту злосчастную частицу. Хотя, на мой взгляд, значение этой ошибки сильно преувеличено. Конечно, формулировки с «не» не самые удачные и есть риск, что отдельные респонденты этих частиц не заметят и поймут задание неправильно, но таковых будет немного. Еще сильнее сократить число ошибившихся поможет простое выделение «не» цветом или РАЗМЕРОМ букв.

8. Запутанные задания

А вот излишне запутанных заданий действительно стоит избегать. Во-первых, на их прочтение и обдумывание тратится слишком много времени (за это время можно было бы ответить на два-три понятно сформулированных вопроса). Во-вторых, может статься, что на такие вопросы будут успешнее отвечать не более знающие, а просто более внимательные люди. Здесь вы можете возразить: мол, и внимательность – тоже нужное качество, и почему бы его не проверить таким образом? Но, увы, нескольких запутанных вопросов вовсе недостаточно, чтобы оценить внимательность. Лучше использовать для этого качественный тест способностей, разработанный специалистами.

7. Попытка измерить поведение, а не знания

Вообще, неопытные разработчики профтестов все время норовят погнаться за двумя зайцами (результат такой погони, как известно, предрешен). Типичный пример — обилие в тесте поведенческих вопросов: мол, как вы поступите в такой-то ситуации. Это, конечно, ошибка. Во-первых, тест все равно не сможет предсказать поведение (сотрудник может знать, как вести себя, скажем, при пожаре, но в реальной ситуации растеряется и поддастся панике). А во-вторых, спрашивая о том, как бы человек поступил, мы уходим от формата теста (где в каждом задании заведомо есть верный ответ) и приходим к формату опроса (где нет правильных ответов, и каждый респондент просто рассказывает о себе, в частности о том, как бы он поступил).

6. Отсутствие в задании правильного ответа

Ошибка, которая делает задание абсолютно бессмысленным и даже вредным, увы, тоже встречается довольно часто. Бывает, из-за нюансов формулировок ни один из ответов нельзя считать полностью верным. Как тут быть компетентному респонденту – загадка…

5. Недостаточное число заданий в субтесте

Мы перевалили экватор антирейтинга, и теперь пора поговорить не об отдельных заданиях, а о тестах в целом. Здесь, пожалуй, самая частая ошибка — слишком малое количество заданий на одну шкалу (область знаний, компетенцию). Одно задание — это точечная проверка знаний, а значит, таких заданий должно быть много. В идеале — от 20 на шкалу. В реальности – никак не менее 10.

4. Недостаточное внимание к информационной безопасности

Хороший профтест — результат профессионального труда команды разработчиков. Редко на изготовление одного теста (коротенькие поделки на 10 вопросов не в счет: это не тест, а просто вопросы для самопроверки) уходит меньше месяца работы. Есть тесты, оттачиваемые и дорабатываемые годами. Поэтому, пожалуй, самое обидное — утечка базы тестовых заданий. Если она произошла, разработку теста придется начинать сначала. Для того, чтобы не допустить утечки, применяется ряд приемов: тотальный запрет на бланковое тестирование, использование расширенного банка заданий, контроль за респондентами в ходе тестирования и др. Излишне говорить о том, что публикация разработчиками заданий в открытом доступе сродни самоубийству. Тем более дико видеть эту практику в ряде крупнейших российских компаний!

3. Разработка тестов знаний под уникальные малочисленные специальности

Рентабельность и целесообразность использования профессиональных тестов знаний тем выше, чем большее количество людей может быть протестировано. Логика здесь очевидна: тест делается один раз (пока оставим за скобками обновление и поддержку), а потом лишь тиражируется. И тем не менее, нет-нет, да и поступают запросы на разработку теста для оценки то 10, а то 20 специалистов. Апофеозом стал запрос на разработку 8 уникальных профтестов для 8 топ-менеджеров. Предполагалось, что в каждом случае тестироваться будет ровно 1 человек!

2. Использование непроверенных заданий

Ошибки, перечисленные в пунктах 6-10, лежат на поверхности, но существуют и скрытые параметры тестовых заданий и теста в целом. Они-то и определяют его работоспособность. Это — так называемые психометрические параметры. Для того чтобы их выявить, нужно перед запуском теста в эксплуатацию провести его апробацию на целевой аудитории с последующим внимательным анализом накопленной статистики. Этот анализ может быть более или менее сложным (или совсем простым, если использовать специальные программы с удобной визуализацией, например, онлайн-оболочку тестирования HT-LINE), но он должен быть. И всегда окажется, что одна часть заданий подтвердила свое качество, а другая — нет. В отношении последних можно с уверенностью сказать: они не помогают измерять знания, а напротив, искажают картину. Их необходимо удалить из теста до начала его эксплуатации.

1. Отсутствие целостного технологического подхода к тестированию знаний

Первое место уверенно занимает стихийность процесса разработки и проведения тестов. Тесты знаний делает кто попало и как попало. Иногда — специалист отдела обучения (зашиваясь и не имея достаточных профессиональных знаний), иногда — опытный сотрудник-эксперт (не имея инструкций о том, как надо и как не надо делать тестовые задания), иногда — аутсорсер (уровень его квалификации может быть любым). А иногда тесты вообще никто не делает: их просто где-нибудь находят в готовом виде.

А между тем, существует конкретная выполнимая семишаговая технология разработки профтестов. Гарантирующая качественный результат и структурирующая процесс разработки и проведения тестов так, чтобы минимизировать трудозатраты и повысить эффективность труда. Мы ее знаем и можем поделиться.

Всех интересующихся разработкой тестов приглашаем на однодневный семинар Лаборатории "Конструирование тестов знаний".

В рамках этой статьи мы не можем подробно останавливаться на каждом пункте и его содержании. Это бы удесятерило ее объем, но мы вполне можем подчеркнуть ряд принципов, на которых базируется данная технология.

1. Принцип разделения функциональных ролей и зон ответственности. Разработка серьезного теста возможна только силами команды. И дело здесь не только в том, что «один в поле не воин» и «делегировать – это хорошо». Дело в том, что требуются разные люди с разными компетентностями. Одни — авторы заданий — должны обладать отличными знаниями в тестируемой области. Другие — методологи — знать, как делаются тесты. Третьи — заказчики оценки — понимать цели тестирования и контуры возможных решений, принимаемых по итогам оценки. Это минимум. Список можно продолжать…
2. Принцип планирования и контроля. Это может показаться странным, но чуть ли не самый сложный этап разработки теста — создание его спецификации, т.е. определение соотношения тематических блоков с прицелом на цели тестирования и аудиторию. Теста еще нет, но уже необходимо целостно увидеть его, определить всего ли хватает, нет ли чего лишнего. Прикинуть, как получаемая с помощью теста информация сможет быть полезна в практике управления персоналом. Спецификация — идеальный образ результата, с которым несколько раз придется сравнивать создаваемый тест. Но мало того, чтобы задания теста соответствовали указанным в спецификации областям. Критически важно, чтобы они были еще и качественно сформулированы, действительно могли отделить знающих от несведущих, а иначе как доверять такому тесту? Отсюда и строгий контроль качества заданий. Два этапа контроля качества заданий, экспертный и статистический, как два звена в цепочке водоочистки: грубый и тонкий фильтр. И ведь ни одним из них не пожертвуешь!
3. Принцип цикличности процесса разработки. Как видно из схемы, после того, как массовое тестирование проведено… все только начинается. А вернее, разработка может продолжаться и заходить на новый виток. Это не значит, что тест был плохим, пока мы не проанализировали статистику по сотням ответивших. Это значит, что он может стать еще лучше и еще точнее. При надлежащем сопровождении «с возрастом» тесты становятся только лучше!

Напрашивается парадоксальный вывод: если относиться к разработке тестов серьезно, то есть шанс справиться с задачей быстро, легко и результативно. Смелость и решимость поступать так, как должно, всегда оказывается вознаграждена! Дерзайте: Российский стандарт тестирования персонала – в помощь!

Арсений Белорусец,
эксперт отдела исследований и разработок,
руководитель направления «Профессиональные тесты знаний»