14.08.2011 Время чтения: 4 минуты

Критика работы с моделями компетенций (с точки зрения математики)

Эдуард Бабушкин, HRM.RU, 15 августа 2011г.

Комментарий научного руководителя Лаборатории Александра Шмелева

Эдуард, мне понравилась эта Ваша статья. Но, как мы уже с Вами это обсуждали на FB, проблема в том, что донести идею ортогональности до эйчаров-гуманитариев очень и очень непросто. Сталкиваясь с ЛЮБЫМ математическим термином, наши гуманитарии автоматически реагируют на ситуацию привычным отказом от понимания под девизом: "Ну это не для нормальных людей". И невидимые "веки на умственных очах" просто опускаются, становятся непроницаемыми для всего дальнейшего текста.

Чтобы я все-таки сказал в защиту существующей практики (хотя сама практика никак и не аргументирует саму себя в корректных математических терминах)?

Возьмите любую наши массовую конкурсную систему. Например, систему вступительных экзаменов. Хотя эти экзамены проводят нередко профессиональные математики, но ... они тоже не ставят вопрос о том, что для суммирования оценок некорректно использовать скоррелированные предметы. Почему? Возьмем экзамен по математике и физике. Скоррелированы ли оценки абитуриентов по этим экзаменам? - Конечно, да! То есть, показатели не являются ортогональными. Простое суммирование баллов по этим экзаменам (без коррекции на скоррелированность показателей) приводит к тому, что в итоговой сумме (конкурсной сумме) повышается роль того общего фактора, который стоит и за математикой, и за физикой, обеспечивает успешность усвоения и той, и другой дисциплины. Ну и что же в этом плохого? - Это вполне адекватно для нужд отбора на какой-нибудь факультет физико-математического профиля!

Аналогично этому если в перечне компетенций появляются конструкты, которые фактически используются оценщиками как синонимы (например, "креативность" и "новаторство"), это вполне оправдано в такой ситуации, когда фактор, стоящий за этой парой конструктов, должен учитываться в итоговой сумме как бы с "двойным весом".

Всю ветку комментариев Вы можете найти здесь.

Критика работы с моделями компетенций (с точки зрения математики)

Идея поста будет сразу очевидна тем, кто работал с факторным анализом, кто не работал, попробую пояснить «на пальцах»

Если вы читали западные работы, посвященные компетенциям, работе с моделями компетенций (например, классику «Компетенции at work» Спенсеров), то наверное запомнили требование, предъявляемое к моделям компетенций:

Компетенции в модели компетенций должны быть независимы

Или, если смотреть графическое представление модели компетенций, то компетенции должны быть перпендикулярны или ортогональны

Или, если говорить языком статистики, компетенции не должны иметь корреляции; или, если иметь, то не значимую. Например, менее 0,4. 

Почему? Да хотя бы потому, что высокая корреляция между компетенциями говорит о том, что в лучшем случае мы делаем мартышкин труд (т.е. мы, говоря «на пальцах», измеряем два раза одно и тоже), в худшем, мы говорим про оцениваемого то, что в его природе личности не существует. Т.е. мы попросту врем. Риски последнего понятны.

Запомнилась речь одного известного российского гуру в области компетентностного подхода:

Она на конференции хвасталась тем, что в ходе ассессмент центров они нашли значимые компетенции…..

Это очень известный провайдер.

Что говорить про остальных?

Если вы проводили свои ассессмент центры и случайно или не случайно смотрели корреляцию между компетенциями, вы, кайтесь, находили корреляции?

Особенно корреляции очевидны тогда, когда ассессорами в ассессмент центре выступают линейные руководители. Они ничего не знают про ортогональность компетенций)))

Отчего же происходит корреляция?

#IMAGE_0#Ответ прост: от человеческой природы. Если вы по честному создавали модель компетенций например с помощью метода критических инцидентов или метода попарных сравнений, то помните, что из респондента без подсказки можно вытащить 2-3, в самом лучшем случае 4, критерия отличия лучших от худших.

И это очень хорошо укладывается в то, что можно выявить с помощью факторного анализа. Дайте любому руководителю любые шкалы оценки (10, 20, 30, 40 показателей) и попросите оценить по ним своих подчиненных. А потом ответы заведите в SPSS и покрутите на предмет выявления факторов.

Этих факторов будет 2-3, в лучшем случае 4. Это, говоря высоким языком, когнитивная структура восприятия руководителя. Т.е. показатель, по каким критериям руководитель оценивает своего подчиненного. Если не ошибаюсь, Петренко В.Ф. писал в одной из своих работ, что мало критериев оценки в голове – плохо, много – тоже не очень хорошо. В первом случае плохо, потому что закрывает многие альтернативные варианты поведения руководителя в отношении подчиненного, во втором, потому что руководитель может быть нерешительным.

И вот представьте, в голове у руководителя три собственных фактора, а ему дают измерительный прибор с семью шкалами и просят оценить.

Представьте, мы действуем на плоскости, а нам дают задание описать цилиндр. Что мы сможем нарисовать? Или круг или прямоугольник.

Каков выход?

Доверить оценку подготовленным ассессорам? А кто гарантирует, что у него в голове цилиндр, а не прямоугольник? Боюсь, если меня услышат и поверят, то ассессоры будут специально стараться давать независимые оценки, что еще хуже.

А может быть дело в самом компетентностном подходе? Может быть в нем что то не так?

Заключительное слово

Я не предлагаю никаких решений. Моя задача скромнее: задуматься над тем инструментом, который мы так часто употребляем.

Буду рад, если кто-то укажет мне на ошибку в моих рассуждениях.

0 комментариев
Написание комментария требует предварительной регистрации на сайте

Войти с помощью:

Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Комментариев пока нет, будьте первым
Хотите подобрать тест для оценки?

В нашем арсенале более 30 тестов оценки личностных, мотивационных особенностей, IQ, управленческого потенциала, рискованного поведения, самопознания и др.

Оставьте заявку на бесплатную консультацию специалиста!

Перейти в каталог тестов