Стоит ли игра свеч: валидность Центров оценки

Содержание

• Ключевые слова: Центры оценки; валидность; оценка персонала.
• Оценка валидности с помощью метаанализа
• Ключевые результаты
• Центры оценки по сравнению с другими оценочными методами
• Литература

Евгений Куприянов, Электронный журнал "Организационная психология", 19 августа 2011г.

В статье анализируется текущее состояние исследований по вопросам валидности Центров оценки – одного из наиболее популярных методов оценки персонала. Метааналитические исследования дают различные показатели валидности – от 0.28 до 0.63. Приводится анализ причин таких расхождений, а также рассматриваются общие проблемные вопросы анализа валидности Центров оценки.

Ключевые слова: Центры оценки; валидность; оценка персонала.

Центры оценки являются одним из наиболее популярных методов оценки персонала. Впервые появившись в середине 1950-х годов в Великобритании, они завоевали широкое признание в практике работы как государственных, так и частных предприятий [Баллантайн, Пова, 2008]. Согласно данным исследования, проведенного британской компанией A&DC, в 2004 г., такие методы использовались в 68% британских компаний [Исследование…, 2004]. Основными преимуществами Центров оценки считаются объективность (за счет использования нескольких наблюдателей и нескольких оценочных процедур), близость оценочных упражнений к реальным рабочим ситуациям и экономическая эффективность. Необходимо отметить, что сами кандидаты и сотрудники также воспринимают Центры оценки как справедливую процедуру [Lievens, 2002]. В последние годы в большинстве бизнес-организаций Центры оценки все чаще применяются для целей развития [Kudish et al., 2001; Spychalski et al., 1997], и в таких случаях их иногда называют Центрами развития.

Вместе с тем Центры оценки вызывают существенный интерес и с теоретико-методологической точки зрения. Если учесть, с одной стороны, широкую распространенность этого метода, а с другой – его высокую стоимость (Центры оценки иногда называют «Роллс-Ройсом» методов оценки» [см. Cook, 1998]), вопрос об истинной эффективности Центров оценки представляется крайне актуальным.

Многочисленными исследованиями показано, что в целом задача точной оценки потенциала и способностей сотрудников и кандидатов на работу является крайне важной для любой компании. Стандартное отклонение продуктивности сотрудника в денежном выражении (SDy) составляет как минимум 40% средней заработной платы по данной позиции [Schmidt, Hunter, 1983; Schmidt et al., 1979; Schmidt et al., 1984]. Значение 40% является нижним порогом – как правило, реальные цифры значительно выше. Таким образом, если средняя заработная плата по позиции составляет 1 млн. руб., то SDy составляет как минимум 400 тыс. руб. Если предположить, что эффективность работы распределена нормально, то разница в эффективности между средним работником (находящемся на 50-м процентиле эффективности) и работником с эффективностью выше среднего (находящимся на 84-м процентиле) составляет как раз 400 тыс. руб. Более того, разница в эффективности между сотрудниками с эффективностью выше среднего» (84-й процентиль) и ниже среднего составляет уже 800 тыс. руб. Очевидно, что эти цифры критичны для экономического здоровья организации [Schmidt, Hunter, 1998].

Оценка валидности с помощью метаанализа

Основным методологическим инструментом, применяемым в последние годы для анализа критериальной валидности различных методов оценки, является метаанализ. По сути, на сегодняшний день именно метаанализ является передовой парадигмой научного психологического исследования. Более того, по мнению некоторых авторов, внедрение метаанализа в корне меняет традиционный подход к проведению и оценке значимости психологических исследований [Schmidt, 1992]. В отличие от традиционной методологии психологических исследований, основное внимание уделяющей избеганию ошибки первого рода (констатировать наличие связи там, где ее нет), метааналитическая парадигма концентрируется на том, чтобы результаты исследований не содержали ошибки второго рода (констатировать отсутствие связи там, где она фактически присутствует). Как следствие, использование метаанализа зачастую позволяет получить данные, являющиеся прорывом в исследуемой области.

Процедура метаанализа была предложена в 1976 г. практически одновременно бельгийским исследователем Жене Глассом (Gene V. Glass), а также американскими психологами Джоном Хантером (John E. Hunter) и Франком Шмидтом (Frank L. Schmidt). Она представляет собой одновременную обработку результатов большого количества исследований. Данная процедура состоит из следующих основных этапов:

1. Сбор данных. На этом этапе исследователь собирает результаты всех исследований по рассматриваемому вопросу. Для дальнейшего анализа используется итоговый коэффициент корреляции, полученный в каждом исследовании. Кроме того, фиксируются все характеристики исследования (включая объем выборки, тип используемого критерия и пр.) Особое внимание уделяется данным о так называемом range restriction – о прямом или непрямом ограничении выборки по какому-либо дополнительному критерию1.
2. Коррекция данных. Коэффициенты корреляции, полученные в каждом исследовании, пересматриваются с поправкой на ненадежность критерия, объем и ограниченность выборки. Результатом данного этапа являются скорректированные коэффициенты корреляции (corrected correlations).
3. Обработка данных. Все скорректированные коэффициенты корреляции анализируются совместно, и с помощью специального математического аппарата выводится значение итогового коэффициента корреляции, характеризующего валидность метода в целом. Поскольку процедура метаанализа является мощным инструментом, снижающим влияние шумовых побочных факторов, во многих случаях итоговый коэффициент корреляции является более высоким, чем в отдельных исследованиях. Во многих исследованиях показано, что по крайней мере 60% вариативности отдельных коэффициентов валидности может быть объяснено размерами и ограничениями выборки, а также ненадежностью предиктора и критерия [Pearlman et al., 1980; Schmidt et al., 1980; Schmidt et al, 1981; Brown, 1981].

Несмотря на то что существуют различные алгоритмы проведения метаанализа, при исследовании валидности Центров оценки чаще всего используется алгоритм, разработанный Шмидтом и Хантером [Schmidt, Hunter, 1977]. Такая общепринятая практика объясняется несколькими причинами. Во-первых, этот алгоритм содержит конкретные формулы для статистической интеграции объема выборок (effect sizes) в различных исследованиях. Во-вторых, он был разработан специально для корреляционных данных, к которым относятся и коэффициенты валидности. В-третьих, этот алгоритм основан на предположении, что большая часть вариативности результатов объясняется статистическими артефактами и методологическими проблемами, а не истинными различиями в популяционных корреляциях [Gaugler et al., 1987].

В большинстве наиболее известных метаанализов изучается прогностическая валидность интегральных результатов Центра оценки (overall assessment rating – OAR). OAR чаще всего рассчитывается как среднее арифметическое результатов по отдельным компетенциям и обычно используется, если Центр оценки применяется при отборе, когда общий уровень, проявленный участником, более значим, чем различия в уровне развития отдельных компетенций.

Ключевые результаты

Один из наиболее известных метаанализов Центров оценки был сделан Джоном Хантером совместно с Рондой Хантер [Hunter, Hunter, 1984]. В результате этого метаанализа были получены скорректированные коэффициенты прогностической валидности 0.43 для критериев, описывающих эффективность работы, и 0.63 для критериев, относящихся к оценке потенциала сотрудника. «Классическим» считается метаанализ, опубликованный в 1987 г. Барбарой Гоглер, Дугласом Розенталем, Джорджем Торнтоном и Синтией Бентсон [Gaugler et al., 1987]. Ими был получен средний коэффициент прогностической валидности Центров оценки, равный 0.37. Эта величина получена после внесения поправок на размер выборки, ограничение выборки и ненадежность критерия. При этом наиболее высокие коэффициенты валидности соответствовали работам, выполненным в исследовательских целях (0.46), программам ранней идентификации менеджерского потенциала (0.46) и применению Центров оценки при отборе (0.41). Наименьшие средние показатели валидности были получены для Центров оценки, применявшихся в целях продвижения (0.3). Из всех критериев, используемых для валидизации Центров оценки, наивысшие средние коэффициенты валидности были получены для рейтинга менеджерского потенциала (0.56). Для всех остальных типов критериев (оценка эффективности работы, оценки по компетенциям, результаты обучения, карьерное продвижение) были получены схожие средние показатели валидности – от 0.33 до 0.36. Кроме того, было выявлено, что валидность Центров оценки выше в тех случаях, когда используется большее количество типов упражнений, когда асессорами являются профессиональные психологи (а не менеджеры), а также когда Центр оценки включает обратную связь от коллег по методу 360 градусов. Основные результаты метаанализа Гоглер и соавторов представлены в табл. 1.

В 2007 г. метаанализ Гоглер был воспроизведен Ираном Хермелином, Филипом Лайвенсом и Айвеном Т. Робертсоном2 [Hermelin et al., 2007]. На сей раз в метаанализ вошли исследования, опубликованные в период с 1987 по 2007 г., т.е. после выхода работы Гоглер и соавторов. Общая выборка составила 5850 человек (в метаанализе 1987 г. – 4180 человек). Средний коэффициент прогностической валидности, полученный в этом метаанализе, составил 0.28, что лежит за пределами 95%-ного доверительного интервала для показателя, полученного Гоглер. Такое расхождение в результатах авторы объясняют тем, что участники современных Центров оценкив связи с их дороговизной проходят более тщательный предварительный отбор. Что касается возможных модераторов эффективности Центров оценки, то авторы отмечают, что после коррекции статистических артефактов вариативность коэффициентов валидности слишком мала для проведения подобного анализа, однако, на их взгляд, это вызвано скорее особенностями статистических процедур, а не истинным отсутствием таких модераторов [Hermelin et al., 2007].

В последнее время, с ростом практики использования Центров оценки для развития сотрудников, большее внимание уделяется результатам по отдельным компетенциям, и появляются метааналитические исследования валидности результатов Центров оценки, рассматривающие в качестве предикторов не OAR, а оценки по отдельным компетенциям. Наиболее известный метаанализ такого рода был выполнен У. Артуром, И. Дэем, Т. МакНелли и П. Иденсом [Arthur et al., 2003]. Они объединили оцениваемые компетенции в 6 метакомпетенций:

• 1) понимание других (Consideration/awareness of others);
• 2) коммуникация (Communication);
• 3) нацеленность на результат (Drive);
• 4) влияние (Influencing others);
• 5) организация и планирование (Organizing and planning);
• 6) принятие решений (Problem solving).

Прогностическая валидность результатов по отдельным компетенциям составила от 0.25 (понимание других) до 0.39 (принятие решений). Более того, результирующее уравнение регрессии, содержащее результаты по 4 из 6 компетенций, объясняет 45% дисперсии, что является более высоким значением по сравнению с полученным Гоглер с соавторами (37%). Авторы делают вывод о том, что Центры оценки дают более качественную информацию, если рассматривать их как сумму различных показателей. Такой вывод в целом согласуется с современной тенденцией к более дифференцированному представлению результатов Центров оценки.

Центры оценки по сравнению с другими оценочными методами

Итак, все крупнейшие на сегодняшний день исследования указывают, что валидность Центров оценки составляет немного ниже 0.4. Что означает эта цифра для практики использования Центра оценки? Много это или мало? Этот вопрос можно разделить на две составляющие.

Прежде всего необходимо понять экономическую эффективность метода оценки с такой валидностью (0.4 и ниже). Здесь можно уверенно утверждать, что факты говорят в пользу Центра оценки, несмотря на их дороговизну. Касцио и Силби обнаружили, что даже Центры оценки с валидностью 0.1 экономически более эффективны, чем случайный отбор [Cascio, Silbey, 1979]. Сэйвилл и соавторами в отчете по итогам проекта Epsom указывают, что уже метод с валидностью 0.3 является весьма экономически эффективным [Saville et al., 2008].

Более сложным является вопрос о том, насколько Центры оценки эффективны по сравнению с другими методами оценки. С одной стороны, существует большое количество исследований, демонстрирующих более высокую экономическую эффективность Центров оценки по сравнению с менее валидными методами. Так, Торнтон и Потемра [Thornton, Potemra, 2006] продемонстрировали, что даже разница в уровне валидности, равная 0.04 (0.36 против 0.32), делает Центр оценки экономически более эффективным, чем панельное интервью. В различных исследованиях было показано, что Центры оценки более эффективны, чем неструктурированные интервью [Burke, Frederick, 1986; Cascio, Ramos, 1986], личностные опросники [Hogan, Zenke, 1986]. Другие исследователи также приходили к выводу о более высокой экономической эффективности Центров оценки [Goldsmith, 1990; Tziner et al., 1994; Hoffman, Thornton, 1997].

С другой стороны, нельзя игнорировать тот факт, что метаанализ валидности некоторых других оценочных методов дает более высокие результаты, чем для Центров оценки. Так, в ставшей уже классической статье Хантера и Шмидта [Hunter, Schmidt, 1998] приводятся сравнительные метааналитические данные по эффективности методов оценки. Коэффициент валидности для Центров оценки 0.37, взятый из работы Гоглер, уступает показателям тестового выполнения работы (0.54), тестов способностей (0.51), структурированных интервью (0.51), оценки коллег (0.49), тестов на знание работы (0.48), тестов честности (0.48) и даже неструктурированного интервью (0.38). Практически все эти методы гораздо дешевле, чем Центры оценки. Так оправданно ли применение Центров оценки (оставим за скобками тот факт, что по организационным причинам многие из перечисленных методов трудно использовать при оценке сотрудников высокого уровня)?

На наш взгляд, применение Центров оценки является оправданным. Как верно отмечают Джонс и Климоски [Jones, Klimoski, 2008], проведение Центра оценки влечет за собой несоизмеримо большее количество позитивных для компании последствий, чем применение любого другого метода3. Вместе с тем, по нашему мнению, истинная валидность Центров оценки в проводимых метаанализах может значительно недооцениваться.

По-видимому, на сегодняшний день существует несколько факторов, затрудняющих точную оценку валидности Центров оценки.

1. Ограничение выборки. Средний размер выборки валидизационных исследований Центров оценки в 60-х и 70-х годах составлял 55 человек [Thornton, Byham, 1982]. Несмотря на то что в последние два десятилетия с развитием средств обмена информацией средний объем выборки возрос4, а процедура метаанализа во многом нивелирует негативное влияние малых выборок, нельзя не отметить, что в первых строках сравнительной таблицы Хантера и Шмидта [Hunter, Schmidt, 1998] указаны те методы, которые применяются в более массовом порядке5.
2. Непрямое ограничение выборки. Как правило, такого рода данные не приводятся в явном виде в опубликованных исследованиях. Безусловно, исследования Центров оценки подвержены тем же факторам ограничения выборки, что и большинство других методов оценки (к примеру, если Центр оценки проводится при отборе сотрудников, не собираются критериальные данные по испытуемым, получившим низкие результаты, – их не принимают на работу). Тем не менее, поскольку Цент оценки является наиболее дорогой оценочной методикой, чаще всего компания отправляет на него своих лучших (или наиболее перспективных) менеджеров, в оценку и развитие которых она готова инвестировать. Если Центр оценки используется при приеме на работу, как правило, он является финальной отборочной процедурой, до которой доходят наиболее успешные кандидаты. Поскольку предыдущие этапы отбора, то как правило, включают оценку способностей и личностных качеств, вариативность когнитивных и межличностных компетенций в результатах Центров оценки уменьшается [Hardison, Sackett, 2004].
   Таким образом, Центр оценки, по-видимому, подвержен непрямому ограничению выборки в значительно большей степени, чем другие оценочные методики. Хермелин и соавторы призывают исследователей публиковать следующие данные:
   1) этап отбора, на котором используется Центр оценки,
   2) процент предварительно отсеянных кандидатов и
   3) корреляцию между суммарными результатами предыдущих отборочных стадий и итоговым результатом Центра оценки [Hermelin et al., 2007].
3. Необходимо также отметить, что Центры оценки, как правило, проводятся для сотрудников, занимающих управленческие позиции. В отличие от работников производства, для них в большинстве случаев невозможно найти объективный количественный критерий эффективности работы. Более того, в качестве меры эффективности, как правило, используется оценка непосредственного руководителя. Это далеко не самый надежный критерий: по одним данным – 0.52 [Salgado et al., 2003; Viswesvaran et al., 1996], по другим данным – 0.58 [Arthur et al., 2003] и 0.61 [Gaugler et al., 1987]. Более того, поскольку точного значения надежности оценки руководителя нет, в различных метаанализах используются разные значения для коррекции коэффициентов корреляции. Чем ниже используемое значение, тем более высоким может получиться итоговый коэффициент корреляции.
4. Для методов оценки, применяющихся в массовом порядке (например, тесты способностей), одним из наиболее популярных критериев валидизации является результат обучения сотрудника. Зачастую использование этого критерия дает наилучшие коэффициенты валидности, хотя с содержательной точки зрения это, несомненно, более слабый критерий, чем эффективность реальной работы сотрудника. Очевидно, что, несмотря на существующие исследования, интереснейшая проблематика валидности Центров оценки нуждается в дальнейшем изучении. По-видимому, ключом к углублению знаний по данному вопросу могут стать метааналитические исследования с более строгим контролем за методологической точностью первичных исследований и большим влиянием на этап сбора данных. Такого рода исследования могут обеспечить более точную оценку истинной валидности Центров оценки.

Литература

¹ Примером прямого ограничения выборки (direct range restriction) может служить исследование, в котором данные по валидности теста собраны только для тех испытуемых, которые показали по тесту результат выше определенного балла (так как испытуемым с низкими баллами отказано в приеме на работу). Более сложным случаем является непрямое ограничение выборки (indirect range restriction). К примеру, на этап тестирования не проходят кандидаты, чей уровень интеллекта в ходе предварительного интервью оценен как низкий, хотя формально этот показатель нигде не зафиксирован.

² Перевод данной статьи, сделанный Е. Лурье и В. Тихомировой, опубликован в данном выпуске журнала «Организационная психология» за 2011 г. (Хермелин И., Лайвенс Ф., Робертсон А.Т. Прогностическая валидность Центра оценки: метаанализ [Электронный ресурс] // Организационная психология. 2011. Т. 1. №1. С. 39–49. URL: www.orgpsyjournal.hse.ru) (Прим. ред.).

³ Глубокий анализ этой темы лежит за пределами настоящей статьи, однако мы рекомендуем заинтересованным читателям изучить материалы нескольких последних международных конференций по Центрам оценки, представленные на сайте www.assessmentcenters.org

⁴ К примеру, для метаанализа Хермелина и соавторов он составляет 225 человек [Hermelin et al., 2007].

⁵ Так, валидность 0.51 для тестов способностей получена в результате метаанализа на выборке в 32 000 человек [Hunter, 1980; Hunter, Hunter, 1984], в то время как для Центров оценки приводится результат метаанализа Гоглер с соавторами, выборка которого составила 4180 человек [Gaugler et al., 1987].