Сравнение результатов «Бизнес-Профиля» с экспертными оценками в интервью по компетенциям
Содержание:
Мы ежегодно проверяем психометрические свойства наших инструментов и пересчитываем тестовые нормы. Этой весной Яна Чёрная, методист отдела исследований и разработок, провела валидизационное исследование оценочной технологии «Тест-Ассессмент». В статье делимся результатами проведённого анализа и полученными выводами.
Про исследование
Наши клиенты используют технологию «Тест-Ассессмент» для оценки компетенций руководителей высшего и среднего звена. Процедура состоит из двух этапов:
- Сотрудник (респондент) проходит психологическую диагностику с помощью теста «Бизнес-Профиль». Отчёт после тестирования показывает потенциал человека к проявлению значимых компетенций.
- Интервью по компетенциям со специалистом по оценке. В процессе интервью оценивается уровень проявления компетенций в практическом опыте человека.
Таким образом мы проводим комплексную, двухэтапную оценку сотрудника по одним и тем же компетенциям. По итогам двух этапов оценки респондент получает баллы. После тестирования система считает баллы автоматически, после интервью по компетенциям баллы выставляет эксперт.
При этом результаты оценки этими методами не всегда совпадают друг с другом. Мы проанализировали данные респондентов, чтобы выяснить, насколько экспертная оценка коррелирует с результатами по тесту «Бизнес-Профиль».
Шаг 1. Анализ результатов оценки
Анализ корреляций проводили по компетенциям:
- Лидерство;
- Мотивация достижений;
- Стрессоустойчивость;
- Ориентация на клиента;
- Коммуникабельность;
- Командность;
- Организованность;
- Ответственность;
- Нормативность;
- Инновационность;
- Комплексное решение проблем;
- Стремление к саморазвитию.
Сравнение полученных баллов по тесту и интервью по компетенциям, на примере результатов десяти респондентов.
Для начала мы сравнили баллы респондентов, полученные в рамках тестирования, и баллы, полученные в рамках интервью. Эксперты оценивают респондента по пятибалльной шкале, а тест — по десятибалльной, или шкале стэнов (от англ. standart ten — стандартная десятка).
Методологически шкала стэнов также делится на пять диагностических зон:
- Низкий результат — 1–2,4 стэнов/1 балл;
- Результат ниже среднего — 2,5–4,4 стэнов/2 балла;
- Средний результат — 4,5–6,4 стэнов/3 балла;
- Результат выше среднего — 6,5–8,4 стэнов/4 балла;
- Высокий результат — 8,5–10 стэнов/5 баллов.
Красным цветом выделены баллы респондентов, которые находятся в разных диагностических зонах по результатам тестирования и интервью. Остальные результаты респондентов находятся в одной диагностической зоне.
Из полученных данных мы сделали вывод, что по каждой компетенции результаты обоих оценочных процедур у большинства респондентов схожи. Это значит, что эксперт и тест не противоречат друг другу и оценивают респондента в основном схожим образом.
При интерпретации результатов оценки стоит обращать внимание не на абсолютные значения полученных баллов, а на зону интерпретации, в которую эти баллы попали. Так, например, нельзя сказать, что если один человек получил 7,3 балла по «лидерству», то его управленческий потенциал выше, чем у человека с результатом в 7,1 балла.
Результаты оценки обоих сотрудников лежат в одной зоне интерпретации — выше среднего, а разница в несколько десятых может быть обусловлена погрешностью измерения.
Частые, но незначительные расхождения в оценках мы видим только по компетенциям «ориентация на клиента» и «коммуникабельность». Обе эти компетенции связаны с эмоциональным интеллектом и вербальными способностями человека.
На интервью по компетенциям эксперт может выяснить нюансы наблюдаемого поведения респондента и задать уточняющие вопросы, а у теста нет такой опции. Тестированием оценивается потенциал к компетенциям, который не всегда проявляется в поведении. Проявление потенциала зависит от среды, в которой живёт и работает человек. Гипотезу о схожести оценок в обоих методах мы решили проверить корреляционным анализом.
Шаг 2. Подсчёт корреляции оценок
По проведённому анализу мы уже видим, что результаты двух методов оценки схожи между собой. Чтобы подтвердить это, мы рассчитали корреляции, экспертных оценок и результатов тестирования. Расчёты проводились с помощью коэффициента ранговой корреляции Спирмена.
Таблица корреляций одноимённых шкал теста «Бизнес-Профиль» и экспертных оценок интервью по компетенциям. Корреляции принимают значения от -1 до 1. Чем ближе значение корреляции к единице по модулю, тем она выше. Значимые положительные корреляции выделены зелёным цветом (центральная диагональ).
Среднее значение корреляции оценок по одноименным компетенциям составило — 0,59. Эта цифра говорит о том, что оценки экспертов по итогам интервью по компетенциям схожи с результатами теста «Бизнес-Профиль».
Вывод
Проведённое исследование показало валидность технологии «Тест-Ассессмент», где тестирование и интервью дополняют и корректируют друг друга, сводя к минимуму вероятность ошибки в оценке. При этом оба метода могут использоваться HR-специалистами по отдельности и показывать достоверные результаты.
Для оценки руководителей высшего и среднего звена мы рекомендуем применять «Тест-Ассессмент»: тестирование + интервью по компетенциям. Двухэтапная диагностика позволяет оценить потенциальный и наблюдаемый уровни развития компетенций, повышает объективность результатов и защищает от стремления респондента проявлять социальную желательность в процессе оценки.
Если же нужно оценить сразу много сотрудников, то достаточно использовать метод тестирования. Он подходит для подбора персонала, формирования рабочих команд, отбора в кадровый резерв или в программы talent management. Тесты сэкономят ваши время, средства и силы без потери качества проводимой диагностики.
«Бизнес-Профиль» — универсальный психодиагностический комплекс на основе оценки мотивации, интеллекта и личности.
Тест включает отчёты с аналитическими выводами о склонности сотрудника к разным видам профессиональной деятельности, управленческом потенциале, компетенциям, командным ролям, стилям менеджмента, а также отчёт с прогнозом успешной работы сотрудника на удалёнке.
Переходите на страницу «Бизнес-Профиля», чтобы узнать больше о методике и пройти бесплатное пробное тестирование.
Похожие статьи
Мы поговорили со Светланой Жабинской, ведущим специалистом и методологом по оценке персонала HT Lab о технологии Тест-Ассессмент: зачем она нужна, как помогает компаниям найти сотрудников с высоким потенциалом и сэкономить.
В данной статье хотим поделиться с вами результатами нашего исследования о том, как пользуются услугами такси люди с разными личностными чертами. Это небольшое пилотное исследование было направлено в первую очередь на подтверждение гипотезы о том, что характер клиента вносит свой вклад в потребительское поведение пользователей такси. Немного забегая вперед, приоткроем завесу: гипотеза подтвердилась. И чуть дальше мы расскажем о том, какие особенности характера оказались в данном случае значимыми и как проявились в поведении пассажиров.
В нашем арсенале более 30 тестов оценки личностных, мотивационных особенностей, IQ, управленческого потенциала, рискованного поведения, самопознания и др.
Оставьте заявку на бесплатную консультацию специалиста!
