Психодиагностика на службе современных кадровых технологий

Автор: Лурье Евгений Валентинович – руководитель центра разработки оценочных технологий «ЭКОПСИ Консалтинг».

Введение

Начало применения компетенций и связанных с ними технологий оценки в России датируется всего 20-летним сроком и совпадает с многострадальным становлением рыночной экономики в 90-е гг. прошлого века. Помимо влияния моды на «все западное», это было обусловлено и объективными обстоятельствами. В это время появилась острая необходимость в специалистах, функциональные обязанности которых не вписывались в традиционную научную трактовку профессии. Например, появилась такая должность, как начальник отдела приватизации. Ни должностных инструкций, ни нормативных документов, описывающих эту позицию, не было, а оценка людей с целью отбора их на данную должность стала насущной необходимостью. Компетенции в этой типичной для сегодняшнего дня ситуации оказались более чувствительны к контексту и доступны в использовании, чем традиционные ПВК или ЗУН. Сейчас успех компетенций, особенно коммерческий, налицо. Большинство крупных российских компаний внедрило или внедряет модель компетенций [2]. Практически все консалтинговые фирмы оказывают услуги подобного рода, выстраивая с помощью модели компетенций не только систему оценки, но и всю модель управления персоналом организации. По данным Ю.Д. Синициной, 87% российских компаний имеют собственную модель компетенций (данные опроса 70 компаний в 2009 г.) [8, с. 8].

Однако при всем внешнем успехе компетентностного подхода и связанных с ним технологий оценки трудно не согласиться с тем фактом, что реальное их применение в России по качеству явно отстает от красивых построений Д. МакКлелланда и его последователей. Не в последнюю очередь здесь сыграла роль сама экономическая ситуация 90-х гг. Люди вынуждены были находить быстрые и эффективные решения, для того чтобы элементарно прокормить семью или же заработать большие деньги в общей неразберихе. О собственной научной школе и идеях в ситуации сильнейшего отставания и повального увлечения всем западным вообще говорить не приходилось. В итоге это отразилось и на обучении, и на оценке, да и на всех других областях современного HR-менеджмента.

В центре «идеального шторма» оказались технологии оценки, которым пришлось пройти через серьезный кризис и проверку на выживание. Раньше или позже основные методики вышли из него обновленные и окрепшие. Например, известная в советское время методика ГОЛ (групповая оценка личности), основанная на экспертных оценках, постепенно переродилась в новые формы в виде оценки 360° и ассессмент-центров. Новые разработки по теме интервью привели к формированию целых направлений в данной области: интервью по компетенциям, глубинное, мультимодальное и т.д.

Особенно сильно эти обстоятельства сказались на сфере психологического тестирования. Сложилась ситуация, в которой существующий пул инструментов перестал соответствовать современным требованиям по всем ключевым параметрам:
• юридическому — абсолютное большинство тестов и опросников были и остаются попросту ворованными (16pf, MBTI, тест Амтхауера и многие другие психологические методики с «иностранным» названием не лицензированы в России);
• этическому — некорректные вопросы из клинических опросников, низкое качество переводов и грубые ошибки в ключах обработки ставят вопрос о целесообразности использования подобных методик для оценки работников организаций;
• содержательному — несоответствие тестов сущности новых оцениваемых конструктов (компетенциям) во многом обесценило даже юридически и этически корректные методики.

Традиционно в организациях использовалось два типа психодиагностических инструментов – личностные опросники (16pf, CPI, MMPI) и интеллектуальные тесты (КОТ, Амтхауер, Равен, Векслер). Как показало наше исследование, проведенное в конце 2008 г., ситуация сейчас принципиально не изменилась [5]. И помимо всех юридических и имиджевых рисков, которые берет на себя компания, работающая с этим устаревшим контрафактом, здесь добавляется самый главный вопрос: а зачем вообще эти методики, когда мы хотим измерить компетенции?

В итоге большинство специалистов отвернулось от психодиагностики, предпочтя ей более понятные (интервью) или дорогие (АЦ) виды оценки. Результаты нашего опроса показали, что 40% компаний вообще не используют психологические тесты в своей работе [5]. И здесь важно отметить, что при всей специфичности нынешней российской ситуации это отнюдь не наше новое и уникальное явление. Подобная ситуация впервые возникла как в России, так и в развитых западных странах в 20-е гг. XX в., во времена бурного и малоконтролируемого послевоенного роста экономики. И одной из главных причин падения имиджа психодиагностики стала дискредитация тестов при массовом (а значит, часто неквалифицированном) использовании. У передовых ученых и практиков от индустриальной психотехники и педологии были интересные идеи и наработки. Но запросы жизни опережали науку, и специалисты на местах необоснованно расширяли границы использования имеющихся методик. В Советской России это, как известно, привело к печально известному Постановлению ЦК ВКП(б) «О педологических извращениях в системе Наркомпросов» 1936 г. и полному забвению тестологии на десятилетия.

В современной России еще одним выраженным «пиком» контрафактного и безграмотного применения тестов стали 90-е гг., когда произошла очередная сильнейшая экономическая перестройка и смена правил игры. В итоге от «очередного 1936 г.» нас уберегает только то, что у современных юристов пока еще много работы с вторичным переделом собственности после приватизации. Как только этот заработок станет убывать, количество дел, связанных с кадровыми решениями на основании старых украденных психологических тестов, увеличится в разы.

Развитие психодиагностики в ассессмент-центрах

Итак, приходится констатировать, что текущее состояние психодиагностики у нас в стране оставляет желать лучшего и в целом не соответствует запросам компетентностного подхода в менеджменте. Однако нельзя не заметить, что на верхушке пирамиды (в консалтинговых командах и богатых компаниях) ситуация кардинально меняется. Разрабатываются и применяются новые методики, построенные в совсем иной логике, чем инструменты а-ля 16pf Кеттелла, бывшие пиком прогресса в 60-е гг. XX в. На российский рынок выходят все новые, в основном западные, компании , предоставляющие разнообразные сервисы и решения в этой области. Российские компании — производители тестов также осознают необходимость перемен и стараются поспевать за лидерами.
Учитывая, что все HR-направление в России последние десятилетия шло вслед за западными технологиями, несложно догадаться, какие данные стоит анализировать при прогнозе трендов развития. Обратимся к практике передовых профессиональных сообществ, например немецкой Комиссии по ассессмент-центрам (АЦ) — своеобразному профсоюзу оценщиков Германии. Пример АЦ, на наш взгляд, показателен, так как это современная комплексная технология, которая компонуется из передовых методик. В них по-настоящему должны верить профессиональные оценщики, иначе это будет пустой тратой драгоценного времени участников и наблюдателей.
Итак, один из ведущих немецких экспертов в области оценки Кристофф Оберманн сравнил данные исследования практики АЦ в Германии в 2001 и 2007 гг. [15, S. 96–97]. Результаты опроса показали, что в среде специалистов по АЦ наблюдается устойчивый рост интереса к стандартизованным методам оценки. Например, тесты способностей набрали 30% по сравнению с 19% в 2001 г. Личностные тесты стали популярнее на 12% (с 16 до 28%). Для сравнения: групповые дискуссии, являвшиеся безусловными лидерами в 2001 г. (95%), продемонстрировали снижение на 34%, уступив пальму первенства индивидуальным и парным упражнениям.
Напрашивается простой вывод: отношение к психодиагностическим методикам меняется. И личностные опросники, и интеллектуальные тесты прибавили более чем по 10% популярности. Причины тому Оберманн видит в первую очередь в сложностях со стандартизацией групповых упражнений [15, S. 97]. Ведь для грамотного использования оценочных методик необходимо доказать, что они измеряют именно то, для чего создавались (то есть обосновать валидность). Без этого оценочная процедура не имеет права называться АЦ. Такие требования содержатся в Международных стандартах по методу АЦ [12], которые являются реально действующим ориентиром для сообщества оценщиков. Очевидно, что в групповой дискуссии трудно добиться равенства условий для всех и вне зависимости от обстоятельств.

Эта ситуация заставляет профессионалов обратить более пристальное внимание на психодиагностические методики. Ведь для любого профессионального теста или опросника проведена стандартизация, обоснованы надежность и валидность инструмента, авторы постоянно обновляют нормы и задания, отслеживают качество. Если собрать воедино комментарии ведущих специалистов по АЦ, они указывают следующие преимущества психометрических инструментов для целей комплексной оценки:
• повышение критериальной валидности, то есть увеличение вероятности правильного прогноза [1, с. 75; 4, с. 66; 15, S. 155];
• ценная дополнительная информация при диагностике определенных конструктов (компетенций). Например, в исследовании Crawly (1990) для компетенции «Анализ и решение проблем» корреляция с интеллектуальным тестом составила 0,44 [Цит. по: 1, с. 76];
• выявление потенциала участника, его способности к обучению (для тестов достижений), определение стиля руководства, управленческой мотивации, то есть получение информации, лежащей за пределами измеряемых компетенций, но позволяющих ответить на вопрос «почему участник действовал так?» [2, с. 197; 6, с. 104–107];
• личностные опросники применимы в качестве «стандартизованного интервью». Это позволяет снять критику субъективности с обычных интервью, что открывает большие возможности использования опросников в дополнение к ним;
• повышение экономичности процедуры — тесты необходимо лишь раздать и обработать по заданному алгоритму. Это незатратные и не требующие квалификации действия [4, с. 71];
• помощь в логистике АЦ — пока участники заполняют тесты, организаторы и наблюдатели могут отвлечься от непосредственного наблюдения, обработать и дополнить записи наблюдений предыдущих упражнений, подготовить материалы для следующих упражнений, провести наблюдение в параллельных группах, отдохнуть;
• помощь в проведении эффективной обратной связи (особенно ценна для АЦ, направленных на развитие) [1, с. 75; 15, S. 152].

Основные психодиагностические инструменты, используемые в АЦ, можно разделить на три основных направления: интеллектуальные тесты, личностные опросники и тесты достижений. Современные данные западных исследователей говорят о наличии значимых связей тестов и многих компетенций, измеряемых в АЦ [15, S. 154]. Наиболее интересный «свежий» пример — мета-анализ Хольценкампа (2008), в котором обобщены данные 19 исследований АЦ в Германии [15, S. 155]. В семи из них, где использовались тесты, критериальная валидность в среднем составляла r = 0,52. В то время как в 12 других, где соответствующие тесты не использовались, показатель валидности составил r = 0,23. Эти данные говорят о высокой значимости использования тестов как вспомогательных инструментов в рамках АЦ.

Чаще всего для целей оценки выбираются интеллектуальные тесты и тесты достижений (они же профессиональные, они же квалификационные). По форме проведения они близки, однако последние призваны измерять успешность в более специальных видах способностей (например, технические или управленческие способности, способность к концентрации внимания).
В качестве особой группы в рамках тестов достижений выделяют тесты оценки ситуаций (ТОС)2 [9; 14; 16]. Последние 20 лет исследователи АЦ обратили на них особое внимание из-за важных преимуществ ТОС по сравнению с другими видами стандартизованных методик — по содержанию они ближе всего подходят к оценке компетенций. Фактически использование подобных инструментов в процедуре оценки специалисты называют новым трендом в АЦ [13].
______________________
2: ТОС – от англ. Situational Judgment Tests (SJT). В России также используется название «кейс-тест» или кейсовая методика.

Тесты оценки ситуаций

Тест оценки ситуаций — это метод оценки, в котором участнику предлагаются ситуации, моделирующие значимые аспекты работы, и варианты возможных реакций на эти ситуации [14, p. 427]. В основе моделирования ситуаций лежит метод критических инцидентов Фланагана, который широко применяется и при создании моделей компетенций, и при конструировании АЦ.
По форме они представляют собой описание ситуаций и набор вариантов действий к ним. История развития ТОС во многом схожа с историей АЦ, который в последние десятилетия стал апологетом компетентностного подхода. Они развивались в первую очередь в практике отбора военных в Первую и особенно Вторую мировые войны. Считается, что первым «настоящим» ТОС стал George Washington Social Intelligence Test (1926) [16, p. 6]. При этом исследователи нашли первые разработки ситуационных вопросов еще в тестах для патентных поверенных в США 1873 г. (!) [16, p. 5]. Данные факты лишний раз доказывают, что ничего принципиально нового современные методы не изобретают — все это, так или иначе, обобщение разнородных практик в единую работающую методологию.

К концу XX в. практика применения ТОС постепенно перешла в гражданские организации и бизнес. Современный подход к этим инструментам был оформлен в работах американского исследователя с чешскими корнями Штефана Мотовидло (Stephan Motowidlo, 1990) [14, 16].

Специалисты отмечают высокую значимость данного метода для современной психологической практики. Фактически в последние несколько лет во многих западных странах (особенно в США) наблюдается своеобразный «расцвет» исследовательских проектов в данной области. Из печати стали выходить не только многочисленные статьи, в 2006 г. появилась базовая монография Weekley и Ployhart, целиком посвященная данному методу [16]. Очевидно, что именно сходство ТОС и компетентностного подхода стало залогом такого успеха. Ведь компетенции нашли признание не только в бизнесе, но и в области образования, где ТОС также широко применяются.

Среди ключевых преимуществ ТОС выделяются:
• высокая очевидная валидность, принятие участниками данного метода как релевантного задачам оценки;
• удовлетворительные показатели прогностической критериальной валидности — метаанализ 95 исследований ТОС, проведенный в 2001 г. МакДэниелом, показал среднее значение r = 0,54 [14];
• удобство и дешевизна администрирования и обработки при массовых оценочных проектах (например, в подборе молодых специалистов);
• б?льшая устойчивость по отношению к эффектам дискриминации меньшинств (что для США как основного пользователя ТОС является критически важным) [16];
• б?льшие возможности по стандартизации по отношению к другим моделирующим упражнениям.

Ограничения метода

Интересная деталь — несмотря на очевидные преимущества и понятность с точки зрения здравого смысла, ТОС пока что не являются повсеместным или даже частым явлением. И причин тому несколько. Главная из них — это стоимость разработки таких методик. Она велика из-за необходимости привлекать большое количество экспертов как на этапе создания кейсов и ответов, так и на этапе отбора заданий. Стандартизация требует сбора больших объемов выборок, к качеству которых предъявляются серьезные требования (сравнение выборки студентов и выборки менеджеров по уровню их решений управленческих ситуаций делать глупо и неправильно). Да и сам процесс создания требует высокой квалификации от исполнителей и менеджеров проекта, что, в конечном счете, также сказывается на цене.

Один из ведущих европейских специалистов по ТОС Филип Ливенс приводит свои расчеты стоимости создания специализированного ТОС для организации — от 60 до 120 тыс. долларов [14, p. 434]. Насколько нам известно, подобная разработка в России не сильно будет отличаться по цене. Правды ради надо сказать, что подобная претензия относится к любым профессиональным психометрическим инструментам. Делать их с нуля очень дорого. Поэтому всегда важен анализ «цена проблемы — цена решения». И для проектов массового подбора весы вполне могут перевесить в сторону разработки ТОС.

Другая важная деталь — в ситуации повторного тестирования хорошо бы иметь параллельную форму, особенно если участники получали подробную обратную связь по результатам первого заполнения. Фактор знания, очевидно, играет роль для большинства тестов достижений, и ТОС здесь не исключение. А подготовка параллельной формы по стоимости может не сильно отличаться от первой разработки.

Покупка готовых ТОС возможна, по стоимости это будет значительно меньше. Однако всегда важно понимать, что в этом случае лучше собрать обширную выборку по своей организации и использовать ее в качестве локальной нормы. Ведь бригадир проходчиков угольной шахты вряд ли справится с тестом на управление персоналом так же, как менеджер отдела маркетинга в международной телекоммуникационной компании.

Как определить «правильность» ответов?Ключевым вопросом метода ТОС является установление правильных ответов. По существу, здесь возможны два подхода — «рациональный» и «эмпирический» [14, p. 429–430]. Первый и наиболее популярный — это согласованное мнение группы экспертов, по ответам которых выставляются ключи для обработки. Плюсы его в том, что эксперты чувствительны к контексту и могут, в случае согласованных оценок, отразить локальные стандарты работы, принятые в конкретной организации (особенно если они набраны из числа ее сотрудников) [16]. Критику данного подхода можно выразить фразой «А судьи кто?». Особенно остро эта проблема встает при оценке «мягких» навыков (коммуникация, командное взаимодействие). Сюда же добавляется и обратная сторона узкой экспертизы — «местечковость», то есть сложность с распространением выводов на другие сферы бизнеса.

Эмпирический подход использует принципиально иную логику. Проводится тестирование на пилотной выборке. Затем отбираются те пункты, которые обладают максимальной различающей способностью в соответствии с критерием (например, КПЭ). Далее правильными ответами объявляются те, которые выбрали участники с наивысшими баллами по критерию, и наоборот, неправильными объявляются те, которые выбирали участники из нижней части рейтинга. Как следствие, данный подход очень чувствителен к качеству выборки, а главное, свойствам тех внешних критериев, которые ложатся в основу построения ключей.

Возможны также и смешанные варианты двух подходов. Одним из наиболее интересных является «конструктно-ориентированный» ТОС, где в основу построения вариантов ответов и ключей заложены определенные теоретические модели [16, p. 166]. Безусловный плюс таких инструментов — они позволяют выйти за рамки локальных экспертных представлений и оценить результаты участников на основании теоретически обоснованных положений, обобщающих целые пласты практики. Очевидно, что в этом случае предъявляются серьезные требования в части валидности самой модели. Ведь тест не сможет быть валиднее теоретических положений, заложенных в его основу. Дополнительным преимуществом этого варианта является отличная возможность использовать результаты участников не только для оценки, но и для развития персонала.

Виды тестов оценки ситуаций

Ситуации в тестах могут быть представлены по-разному: видео, картинки, мультфильмы, текстовые описания. Технология разработки, качество и стоимость во всех этих случаях разные. Чем ближе ситуации к реальным, тем выше характеристики валидности, но выше стоимость и сложнее стандартизация. Например, хороший видеокейс снимать дорого, это фактически съемка небольшого фильма. Еще дороже убрать из него лишнее, когда окажется, что это лишнее сильно влияет на результаты. Но зато он максимально точно отражает реальную ситуацию.

Обратный пример — это текстовые ТОС. Они дешевле всего с точки зрения создания, их легко менять и корректировать. Они доступны в проведении, поэтому по ним легче собрать большие выборки. Однако при этом никакое текстовое описание не отразит всех нюансов конкретной ситуации и всегда останется схематичным. Рисованные и мультиплицированные ТОС являются неким компромиссом между этими двумя полюсами. Но здесь сложность состоит в поиске профессиональных и изобретательных художников, которые смогли бы понять бизнес-задачу и адекватно воплотить ее в рисунке.

Учитывая непростые экономические условия в стране, представляется, что наиболее реалистично разрабатывать текстовые ТОС. И хотя они показывают менее выраженные значения критериальной и очевидной валидности [14, p. 431], показатели конструктной валидности отличаются от видео-ТОС незначительно. Другой аргумент в пользу письменных описаний ситуаций — это недостаточный опыт разработки и применения ТОС в России. Начинать разумнее с более доступных вариантов, если нет резких аргументов «против».

Сравнение с упражнениями АЦ

Как говорилось выше, применение ТОС является одной из актуальных современных тенденций развития АЦ. В последние годы ведущие исследовательские коллективы США, Великобритании и Южной Африки стали все большее внимание уделять данной тематике [13; 14; 16]. Характеристики ТОС явно говорят в пользу их органичного сочетания с упражнениями АЦ. Например, Ливенс с коллегами провели сравнительную характеристику типовых упражнений АЦ и ТОС (табл. 1).

Сравнение тестов оценки ситуаций (ТОС) и упражнений АЦ [13, p. 429]

Вернемся к примеру с начальником отдела приватизации, приведенному нами в начале статьи. Как видно, в этой ситуации ТОС вполне можно было бы использовать в качестве первичного фильтра для отсева заведомо непроходных кандидатов («no-hopers») при массовом подборе. Это нужно, чтобы не тратить на них дорогое время наблюдателей-экспертов. Другой вариант — это применение его вместе с другими упражнениями на АЦ и использование результатов тестирования в качестве важной информации при согласовании оценок по компетенциям.

Российский рынок ТОС

По прочтении статьи может возникнуть резонный вопрос — а есть ли это в России? И если есть, то где и в каком виде? Да, в России существуют и упоминания о ТОС, и конкретные разработки в этой области. Но пока их немного. Широкой HR-общественности данный метод представлен недостаточно, что видно, например, по отсутствию тем, близких к ТОС, на ключевых HR-конференциях России последних лет.

Полноценные издания на русском языке можно пересчитать по пальцам одной руки. Главным образом это книга Стернберга «Практический интеллект» [9]. Из российских авторов эту тему разрабатывает проф. А.Г. Шмелев [10; 11]. Важно оговориться, что этой темой, так или иначе, занимается достаточно много людей и в практике, и в академической среде. Но единого направления, обмена знаниями и опытом в рамках одной методологии практически нет. Например, В.В. Овсянниковой и Д.В. Люсиным разработан интересный видеотест эмоционального интеллекта, в котором исследуются аспекты эмоциональной сензитивности людей [6]. Однако сами авторы не ссылаются на аббревиатуру ТОС (или SJT) и не цитируют базовых источников по этому вопросу.

Выбор методик, которые можно было бы официально приобрести, также невелик. В Лаборатории «Гуманитарные технологии» продается тест ИТУПС-3 — наиболее известный ТОС, направленный на оценку управленческих способностей [11]. В этом году планируются к выходу еще несколько специализированных ТОС. В арсенале крупных западных издательств, работающих в России, также есть подобные методики, хотя их немного относительно традиционных тестов интеллекта и личностных опросников. Отдельные команды разработчиков, имеющие возможность мобильнее реагировать на запросы рынка, также включились в разработку подобных инструментов. Например, автор данной статьи в 2008–2009 гг. реализовал проект создания ТОС по навыкам ситуационного руководства для крупной тренинговой компании. А в 2010 г. готовится к выпуску новая методика оценки менеджерского интеллекта.

Заключение

Привлечение психодиагностических методик к комплексной оценке компетенций в ближайшие годы будет только нарастать. Для этого есть, по крайней мере, три предпосылки. Во-первых, тестирование является сравнительно дешевым способом оценки. При условии, что методики отвечают задаче оценки (или прогноза развития) компетенций, это будет серьезным аргументом «за» них, особенно в массовых проектах с большим количеством участников. В этом смысле тесты оценки ситуаций действительно удобно использовать в удаленном режиме, что открывает перед ними большие возможности в проведении проектов дистанционной оценки.

Во-вторых, в стране постепенно встает на ноги юридическая практика охраны интеллектуальной собственности. Это позволит производителям возвращать недополученную прибыль от пиратства и вкладывать в развитие современных технологий. В-третьих, сами пользователи за последнее десятилетие стали значительно более квалифицированными и искушенными. И это значит, что все меньше будет ситуаций, когда заказчик слепо верит или же, наоборот, не верит определенным методам. У каждого метода существует свое место и свой требуемый уровень качества (надежность, валидность), который должен обеспечить производитель. А именно это и есть необходимый фундамент для роста и инноваций в любой практической области.

Литература

1. Баллантайн Й., Пова Н. Центры оценки и развития / Пер. с англ. — М.: HIPPO, 2003.
2. Вудраф Ч. Центры развития и оценки / Пер. с англ. — М.: HIPPO, 2005.
3. Вучкович-Стадник А.А. Оценка персонала: четкий алгоритм действий и качественные практические решения. – М.: Эксмо, 2008.
4. Кляйнманн М. Ассессмент-Центр. – Харьков: Изд-во Гуманитарный Центр, 2004.
5. Лурье Е.В. Психологические тесты в оценке компетенций // Кадровик. Кадровый менеджмент. – 2009. – № 9. – С. 65–78.
6. Овсянникова В.В. Когнитивные стратегии распознавания эмоциональных состояний // Сибирский психологический журнал. – 2007. – № 25. – С. 40–46.
7. Сергиенко С.К. Современные отечественные технологии оценки и развития управленческого персонала. – М.: Книжный мир, 2004.
8. Синицына Ю.Д. Исследование оснащенности российского // SHL.ru: сайт компании SHL. URL: http://www.shl.ru/files/hr_zone_conf/SHL_REsearch.pdf
9. Стернберг Р.Дж. Практический интеллект. – 1-е изд. – СПб.: Питер, 2002.
10. Шмелев А.Г. Психодиагностика личностных черт. – СПб.: Речь, 2002.
11. Шмелев А.Г. Анализ результатов прохождения ИТУПС членами Сообщества E-xecutive [Электронный ресурс] // HT.ru: сайт Лаборатории «Гуманитарные технологии».  URL: /press/articles/print/art76.htm
12. Guidelines and Ethical Considerations for Assessment Center Operations // International Journal of Selection and Assessment. – 2009. – September. – Vol. 17. – 3. – P. 243–253.
13. Meiring D. Trends in Assessment and Development Centres // 27-th Annual ACSG Conference. — 2007. URL: http://files.unistel.co.za/archive/2007/PanelDiscussion/deon.pdf
14. Lievens F., Peeters H., Schollaert E. Situational judgment tests: a review of recent research // Personnel Review. – 2008. – Vol. 37.  № 4. – P. 426–441.
15. Obermann C. (2009) Assessment Center: Entwicklung, Durchf?hrung, Trends. Mit originalen AC-?bungen. 4., vollst?ndig ?berarb. u. erw. Aufl. Gabler, Betriebswirt.-Vlg, Wiesbaden., 516 S.
16. Weekley J. A., Ployhart R. E. (2006) Situational judgment tests: theory, measurement and application. Lawrence Erlbaum Associates, Inc., 400 p.