Тесты в оболочках. Мнения экспертов

На сегодняшний день вряд ли найдется кадровый менеджер, который бы пожаловался на недостаточное количество существующих тестовых методик - как психометрических, так и профессиональных - которые он мог бы использовать для оценки персонала при приеме на работу или аттестации. Тем более, что эти методики очень широко варьируются – от сугубо научных и напрямую не предназначенных для отбора персонала до специализированных, среди которых как профессиональные, так и «сделанные на коленке». На форуме E-xecutive даже кто-то предлагал тестировать персонал стаканом водки.

Выбирать из всех этих приемов, способов, отельных методов и целых методик – дело компетенции и личного вкуса «эйчара», который, разумеется, должен учитывать и корпоративные требования. В нашем материале не пойдет речь о том, какие из психологических тестов более, а какие менее эффективны – об этом написано достаточно много материалов, объективных и не очень. Вопрос мы поставим по-другому: какие сегодня создаются на основе и с использованием этих методик программные продукты? Как именно методики объединяются в дисковых (CD) и онлайн-продуктах и насколько эти продукты приспособлены специально для ежедневной работы кадровых менеджеров?

Не беремся подсчитать процентное соотношение тех специалистов, которые пользуются в своей работе тестами на бумажных носителях, дисковыми продуктами и интернет-версиями (в данном случае мы говорим и будем говорить исключительно о лицензионных продуктах). Достаточно того, что последние два способа использования тестов по понятным причинам (взять хотя бы увеличение пропускной способности) завоевывают и будут завоевывать лидирующую позицию.

Несмотря на то, что далеко не все «эйчары» пользуются в своей работе тестами – кого-то они разочаровали низкой результативностью, кто-то доверяет только собеседованиям, кто-то использует альтернативные тестированию методики, например, кейсы – но все же очевидно, что спрос на этот продукт довольно велик, так как тестирование признано хоть и не основным, но полезным дополнительным инструментом отбора.

Пытаясь удовлетворить этот спрос, рынок предлагает самые разные варианты. При создании программных оболочек для кадровых тестов разработчиками используются как собственные методики, так и чужие – в классическом или в модифицированном виде. Тестовая программа может быть основана на какой-то одной методике, и в таком случае ее можно назвать одномерной, или же на нескольких – это будет многомерная автоматизированная оболочка. Кроме того, по набору инструментальных средств их можно разделить на закрытые (когда у пользователя отсутствует возможность изменять набор методик, корректировать и вводить новые) и открытые – те, которые предоставляют такие возможности.

Также тестовые программы могут различаться по профилю: есть системы, составленные исключительно из психологических или же профессиональных тестов, а также и смешанные варианты. Стоит ли принципиально разделять тесты по такому критерию, как профессиональные и психологические? Учитывая то, что многие кадровые специалисты стараются при выборе кандидатов опираться одновременно и на профессиональные (знания, опыт), и психологические параметры, на наш взгляд, принципиального разделения быть не должно.

Мы решили сделать с помощью нескольких HR-специалистов независимый обзор, в рамках которого было протестировано три программных продукта данного профиля. При этом мы делали акцент именно на общедоступных разработках, не требующих от покупателей наличия специальной сертификации (как, например, требует компания SHL). Начиная работу над нашим обзором, мы собирались назвать рассматриваемые продукты «дисковыми», имея в виду под этим те, что распространяются в розницу на CD. Однако оказалось, что большинство производителей уже сегодня предлагает как наряду с дисковыми вариантами, так и в исключительном виде онлайн-доступ не только к демонстрационным, но и к полным версиям продуктов.

Разработки, которые мы взяли для обзора, претендуют на то, чтобы быть лидерами в своей нише автоматизированных тестовых продуктов для подбора и оценки кадров. Конечно, мы уделим внимание и оценке самих методик со стороны специалистов, поскольку, как правило, они, в зависимости от взглядов и целей разработчиков, претерпевают модификацию, приобретают различные акценты.

Дадим краткие описания выбранных нами продуктов, используя данные их разработчиков.

--------------------------------------------------------------------------------

Maintest3 (производство HR-Лаборатории Human Technologies)

#IMAGE_0#

Области применения

Maintest3 используется в определении профориентации, в личностной и оргдиагностике, тестировании знаний. Используется при подборе персонала, как инструмент для организационной диагностики, проводимой как внешними консультантами, так и собственной службой персонала организации, для количественных социологических исследований, как инструмент профконсультации, для организации услуг консультирования населения в области выбора профессии и переквалификации и других целей.

#IMAGE_1#

Тестовые методики

В Maintest3 представлены методики двух типов: 1. Универсальные методики для глубинной диагностики личности – СТМ (тест трудовой мотивации), ТИПС (тест общих способностей), 16РФ (психологический портрет личности по 16 факторам) и др. 2. Тесты на профпригодность – методики, измеряющие специальные профессиональные способности и умения: ИТУПС (имитационный тест управления персоналом), ИДС (индивидуальный деловой стиль) и ТЕМП-3 (тест менеджерского потенциала). Для разных профориентационных ситуаций внутри оболочки возможны различные сочетания методик.

Интерфейс оболочки

Интерфейс представляет из себя систему окон. Maintest3 включает широкий спектр настроек – как общих для всех методик, так и индивидуальных для каждой методики. Установка – с компакт-диска, существует также онлайн-версия.

Представление результатов

Результаты представляются в трех видах: шкальный профиль, текстовая интерпретация, таблица с баллами.

--------------------------------------------------------------------------------

Программный комплекс "P-PROFILE" (разработка компании Lifemode Interactive)

#IMAGE_2#

Области применения

"P-Profile" предназначен для оптимизации одного из важнейших этапов работы с персоналом – определения личностных качеств сотрудников и соискателей и выявления соответствия требованиям их профессии. Ориентирован на потребности менеджеров и топ-менеджеров по персоналу, имеющих самый различный уровень психологического образования, а также и не имеющих его.

Тестовые методики

В программном комплексе используются оригинальные авторские разработки, в основу которых положены концепции теории структуры интеллекта Рудольфа Амтхауэра, модели личности Джеймса Кеттелла и ряд других научно-методических разработок. Тесты прошли модификацию и реадаптацию под компьютерную форму предъявления и интерпретации результатов.

Интерфейс оболочки

Через интерфейс можно не только выбирать или составлять профили, проводить тестирование и смотреть результаты, но и вести базу сотрудников и кандидатов. Предусмотрена возможность регистрации личных и профессиональных данных, вставки фотографий, сортировки и фильтрации записей по важным параметрам. Существует многопользовательская версия для одновременного тестирования нескольких человек, а также двухпользовательская версия, направленная на сохранение конфиденциальности информации сотрудника по персоналу. Есть возможность удаленного тестирования. Процесс тестирования интуитивно понятен: из меню выбирается нужный профиль, затем запускается сам тест.

Представление результатов

Результаты психологического тестирования в "P-PROFILE" представляются в двух формах: текстовой и наглядно-графической. На выходе пользователь получает интуитивно понятный график, позволяющий сравнить реальные данные с идеальными, и текстовую расшифровку этого графика.

--------------------------------------------------------------------------------

CAPTain Online (разработка компании CNT Consult)

#IMAGE_3#

Области применения

Данная тестовая разработка российско-германской компании CNT Consult имеет достаточно четкую особенность: она предназначена главным образом для тех кадровых менеджеров, которые занимаются развитием персонала. Основная цель тестирования – анализ необходимости обучения персонала, проведения тренингов, а также контроль за обучением. Кроме того, с помощью данной тестовой системы можно проводить и подбор персонала.

Тестовые методики

В основе разработки лежит собственная концепция Test & Training CNT, использующая научно обоснованные методы по определению потребности обучения и оценки его успешности. При этом, с помощью специальной техники вопросов (метод парных сравнений), по производственно-психологическим пунктам оцениваются ответы самого тестируемого о его привычках и приобретенном опыте в повседневной трудовой деятельности. Результатом является специфическая оценка, которая с помощью 38 понятий дает представление о типичных для данного человека поведенческих навыках в области профессиональной постановки задач, а также в общении с коллегами и сотрудниками. Эти понятия объединены в следующие категории: стиль работы, качества руководителя, принятие решений, личностные характеристики, работа в команде, базовые характеристики.

#IMAGE_4#

Интерфейс оболочки

Оболочка теста доступна исключительно в онлайн-варианте. Как инициировать тест, так и просмотреть результаты тестирования можно в собственном экаунте на сайте CAPTain Online. На каждого тестируемого специалист заводит собственный номер, после чего тестируемый входит в систему, введя полученные от администратора пароли и начинает работу.

Представление результатов

По окончании тестирования результаты тестирования через несколько секунд попадают в административный эккаунт, где этот тест был заложен. С результатами, полученными и интерпретированными системой, можно сравнить самооценку самого сотрудника, определенную с помощью компьютера, и оценку этого сотрудника его руководителем.

--------------------------------------------------------------------------------

Итак, мы постарались показать небольшой «срез» программных тестовых продуктов. Для того, чтобы услышать мнение тех, для кого эти разработки предназначались, мы предложили кадровым менеджерам оценить их по определенным критериям:

• полезные функции и реальная область применения
• методика работы пользователя с интерфейсом и методика работы с тестируемым
• новаторство (или особенности) продукта
• легкость использования
• валидность (под которой понимаем уровень соответствия методики свойствам, которые измеряет тест)

На основе рецензий наших добровольных экспертов мы решили не делать выводов и не выставлять оценок данным программным продуктам, предоставив судить читателям и потенциальным пользователям этих разработок. Слово «эйчарам».

Алексей Поляков, Автомир

Продукты: P-Profile и Maintest3

Данные две системы сопоставимы: в них много возможностей «играть», задавать многопрофильные ситуации. В P-Profile использовано множество методик, в том числе та, которую не предоставляет Human Technologies – корректорная проба. P-Profile выгодно отличается тем, что в программе есть оперативный простор, плюс большой словарь профессиограмм (т.е. описаний особенностей определенной профессии). И варьировать те же самые профессиограммы здесь гораздо проще, чем в системе Maintest. Это очень большой плюс. А самый большой минус системы, на мой взгляд, в том, что в ней используются чисто и исключительно психологические тесты. В Maintest присутствуют вопросы из повседневной практики: на знание бухгалтерии, техники продаж, общеэкономические, юридические предметы– и это это несомненное достоинство данной системы.

Таким образом, если в P-Profile добавить практическую, профессиональную часть или как-то расширить методологию в Maintest, то получился бы отличный пакет.

По критерию легкости использования и количеству отнимаемого времени я признаю лидером P-Profile. В этой программе удобно вызывать данные, одновременно анализировать несколько методик (например, тот же самый цветовой тест Люшера) – то, чего нельзя сделать в Maintest, где все нужно смотреть «по людям» и на каждый тест каждый раз входить в отдельное меню. Кроме того, в P-Profile гораздо больше тестов на структуру интеллекта, нежели в Maintest.

В Maintest мне не очень понравилась инструкция – там дана явно лишняя информация о том, как и из чего складывается методика и как она конкретизировалась. В P-Profile в этом смысле все попроще.

Относительно валидности: если сравнивать две пакетные методики P-Profile и Maintest, то у обоих валидность достаточно средняя. В части личностных опросников очень большие нарекания вызывает как 16 РФ (тест Джеймса Кеттелла, оценивающий черты характера по 16 факторам), так и классический тест Кеттелла. Возможно, это чисто процедурная, аппаратная сложность, но у наших специалистов есть претензии: 16РФ очень часто «возвращает» людей в начало тестирования в связи с якобы «социально желательными» ответами, с замечанием типа «вы были неискрении» и так далее, хотя люди вроде бы стараются отвечать достаточно честно, не дают средних ответов и т.д. То ли это методологическая деталь, и данная шкала трактуется только так и не иначе, или весь наш контингент (главным образом инженерно-технический персонал, специалисты по продажам, специалисты в области бухгалтерского и управленческого учета) не подпадает под эту выборку, либо что-то еще, но почти каждого, кто приходит к нам, компьютер «скидывает» на «слишком много недостоверных ответов».

Самой новаторской системой я бы назвал Maintest. Там реализован подход, который ближе к современному с позиций компетенции, и не только психологических и научных, но и практических взглядов.

Артур Легкий, Wella

Продукт: CAPTain Online

Реальные области применения

Применить тест можно во время интервью с кандидатом или беседой с сотрудником, с целью уточнения тех или иных моментов, которые показал тест, а также он может пригодиться как один из элементов мероприятий по выявлению сильных сторон сотрудника и сторон, нуждающихся в развитии

Общая характеристика

Тест не имеет ярко выраженных отличий по сравнению с другими опросниками (OPQ - профессиональный личностный опросник, Predictive Index - тест для определения психологического профиля претендента и др.): наличие шкалы оценки по разным компетенциям (здесь их 38, может быть, несколько многовато), возможность увидеть два "среза" оценки - как меня видят другие и как я сам себя вижу, выбор из нескольких утверждений наиболее предпочитаемого (в отдельных методиках – выбор наиболее и наименее предпочитаемых), возможность получить различные виды отчетов (но опять не отличающиеся каким-то разнообразием), возможность построения профилей и сравнения результатов с заранее заданными профилями или собственноручно построенными. Интересным показался отчет шансов-рисков – как соотношение разных оценок по разным компетенциям. Правда, опять-таки новой эту идею не назовешь.

Не увидел достаточно распространенной в таких опросниках так называемой "шкалы лжи", которая обычно позволяет более-менее достоверно оценить правдивость ответов испытуемого. Соответственно, не увидел и других решений проблемы "подстраиваемости" кандидата под конкретную должность. Хотя справедливости ради стоит отметить, что эта проблема вообще мало где решается.

Ответы на ряд вопросов – очевидны (т.е. можно достаточно легко выбрать "правильное" утверждение). Некоторые утверждения повторяются по несколько раз, причем звучат одинаково, или по крайней мере, узнаваемо.

Выбор наиболее соответствующего утверждения из всего 2-х высказываний – дело иногда крайне сложное. В некоторых вопросах мне было сложно выбрать что-то одно, так как либо оба типа поведения из утверждений совершенно мной не предпочитаемы, либо были, напротив, одинаково мне свойственны.

Легкость использования

Интерфейс достаточно удобный, интуитивно понятно, куда кликать мышкой и что где писать. Инструкции понятны, вопросов почти не возникает. Но занимает много времени - у меня ушло порядка 1,5 часов на прохождение теста по полной программе. Отчеты создаются сами, легко читаемы и понятны. Было бы здорово, если бы была возможность создавать отчеты только по заранее отобранным критериям. Такой опции я не увидел.

Валидность

Валидность инструмента более-менее соответствует другим опросникам такого же типа.

Наталья Ясинская, FMC Group

Продукты: P-Profile и тесты «16РФ-3» и «КТО» из оболочки Maintest3

Общая характеристика P-Profile

Данная программа представляет собой батарею тестов и по сути является отечественным аналогом западных лицензионных программ. Различие заключается в том, что разработчики пытались сделать программу универсальной. Это масштабное тестирование с помощью известных методик, относящихся как к функциональной группе, так и к психологической. На мой взгляд, сама идея, безусловно, заслуживает внимания, но требует дальнейшей проработки.

Замечания по итогам работы с программой P-Profile

Программа, безусловно, очень удобна в использовании, т.к. включает в себя, на мой взгляд, достаточно полный набор методик, а также позволяет самостоятельно ими оперировать (составлять профиль, а также проводить монотестирование). В то же время, поскольку тестирование, в зависимости от должности, включает в себя исследование различных областей личности и интеллекта, оно занимает большое количество времени, в течение которого тестируемый утомляется и начинает допускать все большее количество ошибок и неточностей. Также его основным мотивом постепенно становится не получение наилучшего результата тестирования, а желание как можно быстрее закончить процедуру. Кроме того, вызывает сомнение целесообразность объединения тестов способностей и психологических опросников в одну методику. Исследуемые не всегда способны быстро переключаться с одной области на другую.

Валидность достаточно высока, но зачастую результаты исследования одной области (коммуникативной, мотивационой и т.д.) противоречат друг другу.

Общая характеристика тестов «16РФ-3» и «КТО» и замечания по итогам работы

Тест «16РФ-3» является, насколько я поняла, модифицированным и адаптированным к российской действительности вариантом многофакторного опросника Кеттелла. Безусловно, он обладает более высокой валидностью, но при этом ему присущи все достоинства и недостатки первоисточника. Также как и в Кеттелле, нужные ответы на вопросы легко предсказуемы (особенно если человек неоднократно проходил тестирование по аналогичным методикам), и даже если предположить, что испытуемый был абсолютно искренен, в разные моменты времени и в зависимости от внутреннего состояния человека результаты тестирования могут быть различными. К сильным сторонам данного тестирования я бы, пожалуй, отнесла неплохой блок из 20 заданий на диагностику интеллектуального развития, а также удобство и простоту использования данного теста. На начальном этапе отбора я бы не стала рекомендовать этот тест, т.к. даже в программном варианте он довольно затратен по времени, но он мог бы быть полезен при выборе между несколькими примерно равными кандидатами (наряду с заданиями-кейсами), либо на последнем этапе для того, чтобы дополнить и структурировать свое впечатление о кандидате.

Тест «КТО» произвел очень приятное впечатление. В данном случае мы имеем продукт полностью соответствующий заявленным параметрам. Дело в том, что абсолютное большинство IQ-тестов являются переведенными и неадаптированными под российский менталитет, из-за чего обладают очень низкой валидностью. Данный же продукт полностью соответствующий заявленным параметрам. Думаю, на начальном этапе отбора он должен быть наиболее эффективен, т.к. позволяет экономить время за счет отсеивания «слабых кандидатов». Если сравнивать его с тестом «КОТ» (краткий ориентировочный тест), который был взят за основу, то следует отметить, что данная модификация более сложная, следовательно, ее можно использовать при наборе персонала среднего звена. Безусловно, о повышенной надежности результатов речи не идет, но за счет того, что время проведения самого тестирования – всего 15 минут, при массовом отборе он может быть полезен".

Вера Соломатина, Vinlund

Продукт: CAPTain Online

Полезные функции

Полезна возможность получения оперативной информации по критериям, использованным в методике, не прибегая к сложным психологическим опросникам, которые вероятно могут дать более полную картину личности, но нуждаются в тщательном интерпретировании. Для тестируемых данная методика вполне доступна, но хотелось бы добавить описание критериев тестирования для более полного понимания целей (один кандидат решил, что это тест на скорость нажатия пальцем кнопки мыши).

Дается достаточно полная картина личностных и деловых качеств, очень хорошее сочетание оценки лидерских качеств и умения работать в команде. Есть возможность сравнения результатов тестирования сотрудников различных уровней в отдельной группе (например, в отделе) с целью перераспределения функций и ролей.

Мной в числе протестированных сотрудников был привлечен менеджер по продажам, кандидат на позицию начальника отдела продаж. Были особо оценены такие критерии, как ориентация на результат, сильные стороны лидера, быстрота принятия решений, умение делегировать полномочия и т.п., необходимые именно для данной позиции. Кандидат показал хорошие результаты, и я думаю, что после необходимого обучения и адаптации кандидат проявит на данной должности нужные качества. Тестирование дало возможность оперативно оценить базовые критерии, необходимые для позиции руководителя отдела.

В чем новаторство

Сочетание в одном тесте объективных и субъективных результатов позволяет помимо анализа девяти основных групп признаков выявить самооценку тестируемого по данным признакам. Например, сразу заставляет задуматься факт слишком большого результативного разброса по критериям личностных характеристик, т.к. это свидетельствует о заниженной или завышенной самооценке тестируемого. По критерию «Работа в команде» можно понять, какие проблемы существуют во взаимодействии с сотрудниками и подчиненными, причины существующих и возможных конфликтов в группе.

Легкость использования

Тест требует большого количества времени для выполнения (около 1,5 часов). Первая половина теста заполняется достаточно быстро, тестируемые не задумываясь отвечают на вопросы. Вторая часть требует более вдумчивого отношения. Вводная часть написана понятным языком, не требует разъяснений. Можно отметить очень грамотное расположение результатов теста.

По мнению тестируемых, в описании стиля работы и результативности присутствует формальное описание качеств, мало индивидуального, относящегося к конкретному человеку. Результаты похожи на результаты тестов из модных журналов. Больший интерес тестируемых вызвал профиль тестирования, где можно более наглядно увидеть те же критерии, что и в описании.

Валидность

Для тестирования отбирались сотрудники, прошедшие в свое время управленческие тренинги, тренинги по командообразованию и т.п. Это было сделано для того, чтобы была возможность сравнить их результаты по итогам тренингов и отзывы тренеров с результатами нашего тестирования для определения достоверности теста. Все протестированные показали либо достоверные результаты по ключевым критериям, либо небольшой разброс, не являющийся существенным.

Еще раз повторю, что для меня куда более интересно не сколько оценить объективно качества тестируемого, сколько проверить соответствие его субъективной оценки и результатов теста.