Анализ результатов прохождения ИТУПС членами Сообщества E-xecutive

Имитационный тест управления персоналом (ИТУПС) – это интерактивный тест, размещенный на E-xecutive в разделе «Психометрическое тестирование». Данный раздел был создан в рамках совместного проекта E-xecutive и HR-лаборатории «Гуманитарные технологии», специализирующейся в сфере разработки психометрических тестов. За период с августа 2004 года по февраль 2005 года две версии этого теста выполнили свыше 3000 человек. Предлагаем ознакомиться с обобщенными краткими результатами данного тестирования.

Методика ИТУПС задумана как интерактивная имитация своеобразной деловой игры. Испытуемый должен представить себя в роли руководителя отдела крупной организации. В процессе прохождения теста ему предъявляются 14 фотопортретов (в первой версии было 7) его подчиненных и коллег и краткие текстовые описания ситуаций-кейсов. Участник тестирования должен был рассмотреть человека, изображенного на фотографии, познакомиться с его проблемной ситуацией и выбрать из списка действия, которые он считает уместными предпринять в данном случае. Далее по тексту инструкции: «Если вы не находите в списке достаточного количества необходимых действий, то по крайней мере надо исключить действия, которые в данной ситуации применять совершенно неуместно. Для каждого кейса вы должны выбирать ответ «Да» не менее 3 раз, но не более 5».

В результатах первой версии теста ИТУПС выводилась оценка испытуемого по трем факторам: КОНТРОЛЬ, ПОДДЕРЖКА, ОРГАНИЗАЦИЯ.

#IMAGE_0#

В таблице 1 приводятся показатели среднего отклонения для 2265 испытуемых, прошедших обследование по методике ИТУПС-7 (7 микрокейсов). Следует пояснить, что шкала стенов («стандартная десятка») устроена так, что на генеральной совокупности средний балл равен 5,5 и стандартное отклонение – 2. Как видим, выборка, состоящая из членов Сообщества E-xecutive, отличается от нашей генеральной совокупности (точнее – «выборки стандартизации», на которой тест ИТУПС разрабатывался нами) в следующих аспектах:

#IMAGE_1#

Многие участники эксперимента после прохождения теста ИТУПС задавали на форуме вопрос: «А откуда вы, разработчики, взяли «правильные ответы», откуда появились ключи к самим факторам, из которых формируется профиль?» Объясняем, что ИТУПС является типичным психометрическим тестом, то есть ключ к нему строится с помощью статистической процедуры – согласования экспертных оценок и последующего корреляционно-факторного анализа. В нашем случае экспертами явились сами испытуемые – те, кто выполнял первую версию теста. Из нескольких сотен испытуемых выделяются ответы тех, кто дает между собой высокосогласованные результаты. Ответы этой группы испытуемых объявляются «ключевыми», и затем производится корреляционно-факторный анализ для того, чтобы проверить, как эти ответы соотносятся между собой.

В результате тщательного анализа матрицы данных 7*10*1200 (задания-ответы-испытуемые) были выявлены, кроме первоначальных 3 факторов, еще 5 факторов. Точнее, были выявлены 1 дополнительный («Дипломатия») и 4 «зеркальных». «Зеркальными» мы назвали факторы, в которых объединились «типичные ошибки». Как они появляются? Анализ показал, что они появляются по причине того, что люди следуют ситуационно-неадекватным диспозициональным установкам (надситуативному, предвзятому настрою): если человек ведет себя «как-то не так», то его надо наказать (неадекватная установка на «Контроль») или надо «поддержать» (неадекватная установка на «Поддержку») и т.п. Неадекватный Контроль мы назвали «ПОДАВЛЕНИЕ», неадекватную Поддержку – «ПОТАКАНИЕ», неадекватные организационные воздействия – «ФОРМАЛИЗМ», неадекватную Дипломатию – «МАНИПУЛЯЦИЯ». Так появились еще 4 фактора – под номерами 6-9.

Во второй версии теста использовалось больше микрокейсов (14 вместо 7) и уже 8 факторов плюс шкала «Общий балл». В таблице 2 дается перечень этих факторов с комментариями.

К моменту подготовки данного сообщения тест ИТУПС-14 прошло уже свыше 1000 респондентов-участников. После отсева пунктов, не обладающих высокой корреляцией с суммарных баллом по целевой шкале, оставшиеся пункты обеспечивали достаточную для такого класса методик надежность.

Среди участников Сообщества больше всего доминирует «дипломатическая стратегия»: средний балл по фактору 5 более всего смещен к высокому полюсу на «сырой шкале»[i]. Но это и не удивительно, так как предъявленные нами микрокейсы не содержали необходимой для принятия определенного решения детальной информации. И испытуемые вполне благоразумно предпочитали в данном случае воздерживаться от решительных действий и выбирать тактику, обеспечивающую «добор» информации, необходимой для принятия более определенных решений.

Относительно труднее было нашим испытуемым не «впадать в ошибку потакания». Впрочем, выше о причинах этого уже говорилось. Видимо, в этой тенденции проявляются культурологические корни: в русскоязычном обществе мягкое, «сочувственно-семейное» отношение к персоналу уходит корнями еще в традиции первобытной (крестьянско-сельской) общины – прощать до последнего – до того самого момента, когда ничего не остается другого, как изгонять. Наказания малой степени тяжести (публичное порицание, штраф) используются недостаточно.

На форуме, посвященном тесту ИТУПС, наиболее пытливые участники критически спрашивали: а для чего этот тест может быть использован? Скептики тут же отвечали при этом сами себе: «Вряд ли такой «простой» тест с такими «примитивными», «нежизненными» ситуациями может позволить спрогнозировать эффективную работу менеджера по управлению персоналом.

В ответ на эти вопросы и возражения хотелось бы обратить внимание на такое применение тестов, которое ускользает из внимания людей, знакомых с тестологией только поверхностно. Тесты правильнее, с нашей точки зрения, использовать не для отбора персонала (во всяком случае, не на последнем этапе отбора), а для отсева кандидатов на ранних стадиях. То есть, информативность тестов не симметрична для разных полюсов тестовой шкалы. В случае высокого балла тест НЕ позволяет спрогнозировать высокую эффективность деятельности (включается слишком много разных других факторов, способных ее снизить даже в тех случаях, если тест зафиксировал высокий уровень развития искомой способности или компетенции), но зато ПОЗВОЛЯЕТ более надежно спрогнозировать заведомо низкий уровень эффективности деятельности в случае явно низких результатов.

Иными словами, те испытуемые, которые давали в тесте ИТУПС явно абсурдные ответы, вряд ли смогут разбираться в реальных жизненных проблемных ситуациях. После отсева таких кандидатов следует применять более «глубокие» методы диагностики отбора – интервью по компетенциям, деловые диагностические игры. ИТУПС дешевле, поэтому его место – на ранних этапах отбора.

^[i] «Сырыми баллами» в тестологии называют первичные баллы, которые получаются после применения ключей к ответам. Чаще всего они просто отражают число (процент) правильных ответов. При переводе к стандартизированным баллам (стенам, в частности) сырые баллы трансформируются в определенные точки на стандартной шкале. Формула такого перевода нередко приобретает сложный нелинейный характер.