Валидность методов оценки персонала: три важных мета-анализа

Содержание:

• Schmidt & Hunter, 1998: классический мета-анализ
• Schmidt, Oh & Shaffer, 2016: немного странное обновление классического мета-анализа
• Sackett et al., 2022: новый мета-анализ
• Сравнение трёх мета-анализов: выводы
• Литература

Что лучше предсказывает эффективность отбора: результат испытательного срока, Центр оценки, тесты интеллекта или оценка организованности? Ответ лежит в показателях валидности разных методов оценки персонала.

Каждый провайдер показывает валидность своих инструментов на базе собственных исследований. Мета-анализ объединяет в себе много разных исследований, — даёт «среднюю температуру по больнице», помогая понять, например, какова валидность тестов интеллекта в целом, по сравнению с другими методами.

В сфере оценки персонала периодически появляются новые мета-анализы, которые дополняют или корректируют результаты прежних. В статье я проанализирую три больших мета-анализа и попробую ответить на вопрос, на какие методы оценки лучше опираться работодателю при отборе сотрудников.

Schmidt & Hunter, 1998: классический мета-анализ

Статья Шмидта и Хантера — самый известный мета-анализ показателей валидности методов оценки, в котором собраны данные за 85 лет. Статью цитировали тысячи раз в разных исследованиях и если вы видите какие-то цифры по валидности методов отбора, то, скорее всего, они взяты из этой статьи.

Сам мета-анализ, по сути, обзор других проведённых исследований, в том числе и самих авторов. Нюанс в том, что Шмидт и Хантер не просто собрали в одну табличку уже существующие цифры, а применили к ним некоторые поправки. Именно к этим поправкам появятся вопросы, которые будут основанием для пересмотра полученных значений.

Schmidt & Hunter, 1998. Топ-5 методов оценки:

1. Задания, имитирующие рабочую деятельность;
2. Тесты интеллекта;
3. Структурированное интервью;
4. Оценка коллег;
5. Тесты профессиональных знаний.

С одной стороны, проделанный анализ не может не вызывать определённое восхищение и уважение. С другой, возникает вопрос — насколько это исследование, опубликованное 25 лет назад, актуально сейчас? 

Schmidt, Oh & Shaffer, 2016: немного странное обновление классического мета-анализа

Не только я посчитала, что данные 1998-го года уже неактуальны. Шмидт (его соавтор Джон Хантер умер в 2002) задумал обновить своё исследование, применить новые подходы к поправкам и пополнить его более свежими цифрами.

Проблема в том, что это исследование ещё не опубликовано. На сайте Университета Балтимора доступно препринтное издание, а сама статья с 2020 года находится на этапе рецензий и правок в крупном психологическом журнале «Barrett». В 2021 году Шмидт умер, и попытки опубликовать статью продолжаются без него, однако сами данные доступны.

На мой взгляд, из-за использования новых статистических методов для вычисления поправки к корреляции полученные значения валидности в этом исследовании — неправдоподобно высокие.

Schmidt, Oh & Shaffer, 2016. Топ-5 методов оценки:

1. Тесты интеллекта;
2. Структурированное и неструктурированное интервью;
3. Оценка коллег;
4. Тесты профессиональных знаний;
5. Тесты благонадёжности и структурированное интервью по телефону.

Sackett et al., 2022: новый мета-анализ

Некоторые исследователи также посчитали, что полученные значения в этих двух мета-анализах являются неоправданно большими. В 2022 году вышла новая статья, в которой авторы пересмотрели значения валидности, полученные Шмидтом и Хантером в 1998-м, — все значения в новом исследовании получились более низкими. Основной вывод этой статьи: методы отбора полезны, но не настолько валидны, как мы это себе представляли.

Почему же у авторов этого исследования получились другие цифры? Помните, выше мы говорили о поправках, которые применяли Шмидт и Хантер? Давайте подробнее поговорим про одну из них — поправку на ограничение диапазона (range restriction).

Представьте, что мы хотим измерить корреляцию между успеваемостью и баллами ЕГЭ у школьников. Если мы возьмём для этого только хорошистов и отличников (т.е. ограничим диапазон выборки), то это корреляция будет сильно меньше, чем если бы такого ограничения не было. То же самое происходит с исследованиями валидности различных методов отбора.

В некоторых исследованиях валидности интересующий специалистов показатель сначала замеряется у всех кандидатов, а потом эффективность работы меряется позже, после найма. Получается, он измеряется только у тех кандидатов, которые прошли отбор и оказались лучшими (в т.ч. по этому показателю), ровно как в случае со школьниками. Так можно ли по этим ограниченным данным сделать выводы об истинной корреляции?

Все эти проблемы Сакет с коллегами подробно разбирают и критикуют. В качестве альтернативы они предлагают индивидуально рассматривать каждое исследование, которое вошло в мета-анализ, и отдельно по каждому принимать решение об использовании поправок, а также не применять их, если для этого нет надёжного обоснования.

С этими соображениями авторы пересчитывают данные исследования Шмидта и Хантера от 1998 года и добавляют, где возможно, новые исследования. В итоге у них получились более низкие значения валидности для всех методов, и, как результат, в топ-5 вошли другие методики.

В 2023 году авторы написали вторую статью с ответами на вопросы к первой. В свежей статье они дополнительно пересчитали некоторые показатели с учётом новых данных. В таблице привожу данные статей за 2022 и 2023 годы.

Мне лично очень симпатичен новый мета-анализ, т.к. в нём крайне подробно описывается, каким образом у авторов получились эти цифры, почему в одних местах они решили корректировать значения, а в других — нет.

Сравнение трёх мета-анализов: выводы

Собрав всю информацию воедино, мы можем взглянуть на данные из трёх мета-анализов вместе. В таблице вы увидите значения валидности всех процедур оценки в разных статьях.

Так какой же вывод из всего этого можно сделать и на какие методы отбора лучше опираться? Точно можно сказать, что те методы, которые неоднократно занимали первые позиции, дадут более полезные результаты, чем стаж, длительность обучения и измерение отдельных черт личности. Вот эти методы:

1. Структурированное интервью.
2. Тесты профессиональных знаний.
3. Оценка коллег.
4. Задания, имитирующие рабочую деятельность.
5. Тесты интеллекта.
6. Биографические тесты.
7. Центр оценки (ассессмент-центр).
8. Тесты на благонадёжность.

Литература

• Российский стандарт тестирования персонала (временная версия, созданная для широкого обсуждения в 2015 году). Организационная психология, 5(2), 67-138. Батурин Н.А., Вучетич Е.В., Костромина С.Н., Кукаркин Б.А., Куприянов Е.А., Лурье Е.В., Митина О.В., Науменко А.С., Орел Е.А., Полетаева Ю.С., Попов А.Ю., Потапкин А.А., Симоненко С.И., Синицына Ю.Д. & Шмелев А.Г. (2015).
• Barrett, P. (2022). Predicting Job Performance. Cognadev.
• Hartigan, J. A. & Wigdor, A. K. (1989). Fairness in employment testing: Validity generalization, minority issues, and the General Aptitude Test Battery. National Research Council.
• Richardson, K & Norgate, S.H. (2015). Does IQ Really Predict Job Performance?, Applied Developmental Science, 19:3, 153-169.
• Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107(11), 2040.
• Sackett, P., Zhang, C., Berry, C., & Lievens, F. (2023). Revisiting the design of selection systems in light of new findings regarding the validity of widely used predictors. Industrial and Organizational Psychology, 16(3), 283-300.
• Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological bulletin, 124(2), 262.
• Schmidt, F. L., Oh, I. S., & Shaffer, J. A. (2016). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 100 years.