ЭКСПЕРТНЫЕ ОЦЕНКИ. ДОВЕРЯТЬ НЕЛЬЗЯ ПРОВЕРЯТЬ!

Содержание

• Эм… Шума?
• Все пропало?

#IMAGE_0#

Недавно мой коллега опубликовал статью, посвященную HR аналитике, в частности качеству данных. Интересно и содержательно написано, рекомендую. Во мне это статья вызвала желание поговорить про экспертные оценки. Есть ситуации, в которых единственный способ принять адекватное решение – это спросить мнение более осведомленного человека (эксперта). В работе с персоналом такое экспертное мнение – основа принятия подавляющего большинства кадровых решений, и, как следствие, источник данных для аналитики.

Мой коллега выделяет две категории данных в HR: субъективные и объективные. Когда речь заходит о деятельности людей, говорить об абсолютной объективности не приходится, разделение очень условное. С помощью правильной методологии сбора данных можно достичь определенной объективности, но полностью уйти от субъективизма, наверное, невозможно.

Объективные – это данные, полученные посредством хладнокровного фиксирования фактов, желательно, машиной. Эти данные исключают какую-либо интерпретацию со стороны человека. Например, данные перемещения от GPS, либо время опоздания сотрудников, извлеченное из автоматической контрольно-пропускной системы. Субъективные – это данные, которые являются результатом интерпретации ситуации человеком. Наряду с интервью и самоотчетами в эту группу входят экспертные оценки. Иногда индивидуальная интерпретация определенных событий или вещей сама по себе является предметом изучения (например, маркетинговые исследования), тогда к отсутствию объективности в таких данных претензий нет. Сложности возникают при попытке оценить реальное положение вещей посредством субъективного мнения.

В быту, называя оценку субъективной, мы имеем в виду, что человек руководствовался своими эмоциями и принимал решение по принципу «нравится/ не нравится», не обладая при этом четкой системой критериев. В субъективизме часто обвиняют людей, которые позволяют «личным отношениям» вторгнутся в чуждый страстям мир профессионального хладнокровного взгляда. В реальности все немного сложней.

Даже в условиях анонимного выставления экспертных оценок, в ситуации отсутствия какой бы то ни было истории отношений между оценивающим и оцениваемым, там, где эксперты работают по четкой системе критериев, проходят регулярную подготовку, даже там возникают проблемы с объективностью. Оценщики могут быть слишком лояльными, чрезмерно суровыми, либо очень осторожными, склонными придерживаться среднего балла. Одни эксперты, начиная утомляться, занижают оценки, а другие завышают. Наблюдаются ситуации, в которых даже интерпретация критериев оценки меняется с течением дня.

Если все это происходит в условиях полной непредвзятости, что говорить об оценке, которую нужно поставить своему коллеге или подчиненному. Даже при большом желании оставаться объективным не получится. И здесь вопрос не в любви или нелюбви к объекту оценки, проблема – в наличии большого количества шума.

Эм… Шума?

В статистике есть понятие шума данных – нежелательного компонента, той части данных, которая не содержит искомой информации. Что является шумом, а что является ценной информацией, зависит от ваших целей и средств.

Представьте себе такую ситуацию. Вам нужно определить связь роста женщин вашей компании с их весом. Показания веса у вас уже есть, теперь нужен рост. Вы всех пригласили к ростомеру и собрали данные, но перед тем как приступить к анализу, с сожалением вспомнили, что забыли попросить сотрудниц снять каблуки. Каблуки – это шум.

#IMAGE_1#

В случае с каблуками проблема решается просто. Вы просите сотрудниц предоставить информацию о высоте каблука и вычитаете фактор шума. Проблема экспертных оценок заключается в том, что количество подобных «каблуков» и их размер очень трудно определить. А чем больше вещей вас связывает с предметом оценки, тем больше таких «каблуков» в деле.

В психологии существует понятие когнитивных искажений. Когнитивные искажения – систематические типовые отклонения от рационального способа принятие решений. Ресурсы нашего мозга не безграничны, тщательная обработка информации требует значительных физических и временных затрат. Часто, когда у нашего мозга недостаточно мотивации, времени, сил либо информации на проведение тщательной оценки ситуации, он начинает «срезать углы» на пути к принятию решений, привлекая к этому весь доступный арсенал.

Например, гало-эффект или эффект ореола. Мы склонны недооценивать слабые стороны приятных нам людей и игнорировать достоинства людей, которые нас раздражают. Конфликтующие идеи доставляют человеку много дискомфорта, нам кажется, что «плохой» человек по определению не может делать хорошие вещи, и наоборот. В действительности, мир менее очевиден, а его тщательное осмысление требует высокого когнитивного напряжения. В тех ситуациях оценки, где очень много критериев, они все похожи друг на друга, сложно сформулированы, мало связаны с реальной деятельностью, не несут никакого конкретного смысла, да еще и отнимают много времени – гало-эффект берет верх над сложной аналитической активностью. В анализе таких оценок гало-эффект будет создавать шум.

Науке известны десятки искажений принятия решений, подобных эффекту ореола. Список, предоставленный Википедией, переваливает за сотню. В практике, часто встречаются случаи, когда оценка сотрудников руководителями статистически никак не связана, скажем, с объемами продаж последних. Это не удивительно, так как количество продаж, вероятнее всего, зависит от универсального набора факторов, а вот оценка руководителя – это уникальный и динамичный набор стереотипов, ассоциаций, убеждений и догадок о том, что такое эффективность.

Мышление человека — это не линейный алгоритм, а конфигурация установок, ценностей, ассоциаций, эмоций, восприятий, воспоминаний и прочего. Такая смесь, в целом, помогает нам оперативно ориентироваться в социуме, выживать и экономить ресурсы, но в некоторых случаях ведет к систематическим ошибкам и неприятным последствиям.

В ситуации оценки персонала, такое наше «несовершенство» делает качественную аналитику почти недостижимой.

Все пропало?

Однозначного понимания, как с этим быть и что делать, у мира науки пока нет. Но есть ряд принципов, следование которым, по моему искреннему убеждению, способно сделать результаты оценки чище и надёжнее как для принятия решений, так и для последующей аналитики.

Сохранять критичный подход к инструментам и способам оценки. Привычка ставить под сомнения свои действия поможет вовремя заметить потенциальные искажения, снизить шум данных. Обращайте внимание на то, каким образом можно минимизировать влияние побочных факторов на процедуру оценки. Оценка проходит после работы? Плюс фактор усталости. Оценка проходит в условиях open space, где мониторы друг друга хорошо просматриваются? Плюс фактор группового давления. Не обязательно быть экспертом, чтобы замечать подобные вещи, многие из них интуитивно понятны. Иногда достаточно просто смотреть.

Использовать несколько независимых источников информации для принятия решения. Еще Френсис Гальтон в 19 веке заметил интересную закономерность: если попросить людей из толпы прикинуть вес топора на глаз, то ближе всего к истине окажется среднее значение всех оценок. Комбинирование оценок нескольких экспертов – это известная практика. Существуют разные методологии сбора экспертных оценок, разработаны статистические инструменты для контроля их качества за счет выявления искажений в разбросе ответов.

Тем не менее, несмотря на искушенные практики, ключевым фактором успеха является комбинирование именно независимых источников оценки. Если условие независимости проигнорировать, то можно стать жертвой различных деструктивных групповых процессов. Например, погуглите «парадокс Абилина», (группой принимаются решения, которые каждый член группы не принял бы по отдельности) или «групповое мышление» (грамотные и образованные люди, сами не понимая как, принимают коллективные решения с далеко идущими негативными последствиями).

Применять только педантично продуманные и четко сформулированные критерии оценки. Задача критерия, прежде всего, дифференцировать «успешных» и «неуспешных». Критерий, который не справляется со своей задачей, усложняет процедуру оценки и подрывает доверие участников к результатам. Помните: мозг начинает срезать путь в тех случаях, когда он перегружен и недостаточно замотивирован. Сложные и оторванные от реальности критерии – это как раз тот случай.

Анализировать данные. Прибегайте к аналитике для того, чтобы черпать дополнительную информацию о сотрудниках и принимать взвешенные решения. Например, определите статистически, какой процент успеха обусловлен личностными качествами человека, а какой внешними обстоятельствами. Одно из самых известных искажений - фундаментальная ошибка атрибуции. Люди склонны переоценивать влияние внешних факторов на свои неудачи и недооценивать влияние внешних обстоятельств на неудачи других. Часто на линейных позициях не так важны личностные особенности сотрудников, как их опыт и условия, в которые они поставлены. В таком случае нет смысла инвестировать в подбор, лучше сосредоточиться на удержании персонала и оптимизации процессов.

Придерживаться открытой позиции. Чем прозрачнее процедура и яснее коммуникация, тем лучше информация на выходе. Эффект фрейминга (от англ. frame – рамка): человек не принимает решения в вакууме, контекст и ситуация оказывают большое влияние на наше восприятие и выработку позиции.

Сравните две фразы:

• "20 человека из 100 провалили оценку"
• "80 человек из 100 успешно прошли оценку"

Объективно информация идентична, а вот осадок на душе остается разный. То, как вы позиционируете оценку, сильно сказывается на ее результатах. Я не призываю здесь к манипуляции, наоборот, предостерегаю от нее. Невозможно переоценить грамотную, качественную и исчерпывающую коммуникацию. Если вы сами не создадите четкие рамки для восприятия процедуры оценки, каждый участник выстроит для себя их сам. А это огромное пространство для свободных интерпретаций, и как следствие много неконтролируемого шума.

Рекомендуется к прочтению:

• Kahneman D. Thinking, fast and slow. (рус. Думай медленно…решай быстро) – Macmillan, 2011.