Кейс-тесты: назначение, задачи, разработка

Содержание:

• Что такое кейс-тесты
• Какие характеристики они измеряют
• Какие задачи решают
• Когда стоит разрабатывать собственный кейс-тест
• Психометрические параметры кейс-тестов
• Резюмируем
• Источники

Всё больше компаний используют кейс-тесты при оценке сотрудников и кандидатов. Чаще всего такие тесты разрабатываются под запрос, что позволяет максимально учесть специфику конкретного бизнеса и корпоративной культуры. Кроме того, с помощью этого инструмента можно прогнозировать предпочитаемые модели поведения человека в рабочих ситуациях и делать выводы о потенциальной успешности в работе. Это и делает кейсовые методики такими востребованными среди работодателей.

В статье рассмотрим, что такое кейс-тесты, какие характеристики с их помощью можно измерять и в каких задачах применять, каковы психометрические параметры этого инструмента и нюансы разработки. 

Что такое кейс-тесты

Кейс-тесты (Situational Judgement Tests, SJT, тесты ситуационных суждений, тесты оценки ситуаций, ситуационные тесты) основаны на реальных рабочих задачах, с которыми сталкиваются сотрудники компании. Во время оценки работнику нужно выбрать, что он будет делать и как себя поведёт в смоделированной проблемной ситуации.

Задания теста могут быть предъявлены сотрудникам (респондентам) в виде текста, фото, видео или в игровом формате. Они могут представлять собой независимые друг от друга сюжеты или объединяться единым сценарием.

Задания в кейс-тесте можно условно разделить на два типа — проверка конкретных знаний или оценка склонности к проявлению вероятного поведения в проблемной ситуации.

Оценка уровня знания. Задания направлены на проверку когнитивных способностей и осведомлённости о том, как следует поступать в определённых ситуациях. Сотрудникам (респондентам) необходимо выбрать ответы, которые соответствуют лучшим практикам или стандартам поведения. 

Оценка уровня поведения. Задания этого типа оценивают склонность к проявлению того или иного поведения в заданной ситуации. Сотруднику или кандидату необходимо предсказать своё вероятное поведение в предлагаемой ситуации. 

Какие характеристики они измеряют

Оцениваемые характеристики можно объединить в четыре основные группы:

1. Профессиональные компетенции — квалификационные знания и навыки, необходимые для выполнения должностных обязанностей в конкретной профессиональной области.
2. Управленческие и общекорпоративные компетенции — потенциал к управленческой деятельности и склонность следовать корпоративным стандартам поведения.
3. Ценности — убеждения и принципы, которыми руководствуется человек в своих действиях и решениях.
4. Личностные черты — устойчивые характеристики личности, которые влияют на поведение и реакции человека.

В широком смысле кейс-тесты позволяют измерить две области знания — специализированные и общие знания. 

Специализированные знания сотрудник приобретает в процессе обучения и опыта работы в конкретной организации. Они нужны для успешного выполнения задач в определённой рабочей среде. Например, знание правил безопасности на производстве или регламент взаимодействия с клиентами.

Общие знания — это универсальные знания и качества, которые формируются в процессе социализации и не зависят от рабочей среды. Они определяют успешность поведения человека в широком диапазоне ситуаций, например: лидерство, умение работать в команде или эмоциональный интеллект. 

Оцениваемая область знания имеет важное значение при разработке кейс-тестов. Чем более узкоспециализированные знания требуется оценить, тем больше данных нужно собрать о специфике бизнеса и особенностях корпоративной культуры. Для максимальной реалистичности разработчики кейс-тестов вовлекают сотрудников заказчика в процесс создания заданий, проводя с ними интервью или мини-сессии для сбора проблемных ситуаций. Кроме того, измеряемая область знания влияет на степень детализации проблемной ситуации в задании. Специализированные знания предполагают более подробное описание ситуации, в то время как общие знания можно измерить с помощью сравнительно коротких ситуаций.

Какие задачи решают

HR-специалисты традиционно используют кейс-тесты в задачах оценки, вовлечения и обучения сотрудников.

Когда стоит разрабатывать собственный кейс-тест

Кейс-тесты позволяют моделировать различные аспекты работы, поэтому их можно рассматривать в качестве более выгодной альтернативы дорогостоящим процедурам оценки, например, Центру оценки. 

Разработка собственной кейсовой методики наиболее уместна при сочетании следующих условий:

• Массовость позиции, для которой нужен тест (не менее 300-500 респондентов).
• Регулярность применения инструмента (эксплуатация теста в течение нескольких лет).
• Наличие времени для разработки (не менее 2-3 месяцев).

В этом случае кейс-тест поможет оптимизировать расходы и существенно сократить сроки проведения оценки.

Как разрабатываются кейс-тесты

Процесс разработки состоит из семи этапов: детализация теоретической модели и целей оценки, сбор информации, разработка заданий, апробация заданий и расчёт тестовых норм, внесение правок, подготовка итоговой версии теста с написанием текстов-интерпретаций и запуск теста в эксплуатацию. Срок создания психометрического теста в полном цикле составляет от 2-3 месяцев.

В процессе создания теста требуется включение сотрудников со стороны заказчика на нескольких этапах. На этапах сбора информации и верификации заданий привлекаются эксперты, которые являются носителями корпоративной культуры компании и могут описать типовые рабочие ситуации для создания заданий. На этапе апробации необходимо привлечение бОльшего числа сотрудников, чтобы собрать данные для проверки психометрических параметров теста. 

Отметим, что разработка собственного теста предполагает его поддержку и обновление в процессе эксплуатации. Тест необходимо обновить, если:

• устарела информация, которая содержится в заданиях теста и нужно внести корректировки,
• накоплено достаточно данных. В этом случае стоит проверить психометрические параметры инструмента и убедиться, что всё рассчитано верно,
• раскрыты правильные ответы теста. Тогда банк заданий нужно пересмотреть или расширить. 

Психометрические параметры кейс-тестов

Критериальная валидность. В 2001 году М. МакДэниел провёл анализ исследований кейсовых методик. Корреляция между кейс-тестами и производительностью труда составила 0,34. Если кейс-тесты разрабатывались с учётом специфики рабочей среды, то они показывали более высокие показатели валидности (0,38 против 0,29).

В 2010 году М. Кристиан представил результаты своего анализа, в котором коэффициенты корреляции с эффективностью работы варьировались от 0,19 до 0,43 в зависимости от измеряемых конструктов. Кейс-тесты, измеряющие профессиональные знания и навыки, имели самый низкий показатель валидности (r = 0,19), личностные особенности (r = 0,43) и умение работать в команде (r = 0,38) показали наиболее высокую связь с эффективностью работы.

В 2022 году П. Сакетом был опубликован мета-анализ валидности инструментов оценки. Согласно анализу критериальная валидность кейс-тестов как для знаниевой, так и поведенческой инструкций составляет 0,26.

Надёжность. Это наиболее уязвимое место кейс-тестов. Чаще всего рассчитывается показатель внутренней согласованности Альфа Кронбаха, который у кейс-тестов, как правило, снижен. Например, в мета-анализе М. МакДэниела (2001) коэффициенты варьировались от 0,43 до 0,94. В мета-анализе М. Кэмпион, Р. Плойхарт средние показатели составили 0,57.

Большинство исследователей сходятся во мнении, что Альфа Кронбаха не является информативным показателем согласованности кейс-тестов, но при этом остаётся наиболее часто встречающимся критерием при проверке психометрических параметров. Подходящим показателем может считаться надёжность частей теста. Тем не менее вопрос надёжности кейс-тестов остаётся открытым в научной среде и требует новых подходов к её измерению.

Резюмируем

• Кейс-тесты — формат тестирования, основанный на реалистичных проблемных ситуациях.
• С помощью кейс-тестов можно измерить специализированные и общие знания, например: профессиональные компетенции, общекорпоративные и управленческие компетенции, ценности и личностные черты.
• Оценка персонала — ключевая область применения кейс-тестов. Кроме этого HR-специалисты используют кейсовые методики в задачах вовлечения и обучения сотрудников.
• Кейс-тесты позволяют оптимизировать расходы и сократить сроки проведения оценки.
• Процесс разработки кейс-тестов предполагает взаимодействие с сотрудниками заказчика для сбора информации, верификации и апробации заданий. Срок создания психометрического теста в полном цикле составляет от 2-3 месяцев.
• Разработанный тест нуждается в поддержке в процессе эксплуатации: обновлении заданий при устаревании информации или компрометации правильных ответов, обновлении норм и пересчёте психометрических параметров при накоплении данных.
• Кейс-тесты позволяют прогнозировать успешность в работе (критериальная валидность = 0,26) и обладают приемлемым уровнем надёжности (Альфа Кронбаха = 0,57; Надёжность частей теста = 0, 78).

Источники

• McDaniel, M. A., Nguyen, N. T. (2001). Situational Judgment Tests: A Review of Practice and Constructs Assessed. International Journal of Selection and Assessment, 9, 103−113.
• Christian, Michael & Edwards, Bryan & Bradley-Geist, Jill. (2010). Situational judgment tests: Constructs assessed and a meta-analysis of their criterion-related validities. Personnel Psychology. 63. 83 - 117. 10.1111/j.1744-6570.2009.01163.x.
• Ployhart, R. E., Campion, M. C., MacKenzie Jr., W. I. (2012). Reliability and Situational Judgment tests: A Review of the Literature. Paper Presented at the 27th Annual Conference of the Society for Industrial and Organizational Psychology, San Diego, CA
• Campion, M. C., Ployhart, R. E., & MacKenzie Jr., W. I. (2014). The state of research on situational judgment tests: A content analysis and directions for future research. Human Performance, 27(4), 283-310. doi: 10.1080/08959285.2014.929693
• Whetzel, Deborah L.; Sullivan, Taylor S.; and McCloy, Rodney A. (2020) "Situational Judgment Tests: An Overview of Development Practices and Psychometric Characteristics," Personnel Assessment and Decisions: Number 6 : Iss. 1 , Article 1.
• Filip Lievens and Stephan J. Motowidlo Situational Judgment Tests: From Measures of Situational Judgment to Measures of General Domain Knowledge. Industrial and Organizational Psychology, Available on CJO 2015 doi:10.1017/iop.2015.71.