Екатерина Белоуско

Специалист отдела исследований и разработок

Статьи автора

Можно ли обмануть кейс-тест?

Содержание:

• Ранние исследования фальсификаций кейс-тестов
• Что показали последние данные
• Резюмируем
• Источники

Фальсификация при прохождении тестов может приводить к тому, что люди оказываются не на своих местах. В предыдущей статье Алёна Мезенцева, эксперт отдела исследований и разработок, подробно разобрала, как можно снизить степень фальсификаций. 

Продолжая эту важную тему, предлагаем рассмотреть, как с этим обстоят дела у кейс-тестов (Situational Judgement Tests). Считается, что формат кейс-тестов позволяет если не полностью снизить, то хотя бы минимизировать степень фальсификаций. Так ли это?

Долгое время кейс-тесты рассматривались в качестве симуляций рабочих ситуаций. Считалось, что для их успешного прохождения респонденты должны обладать знаниями о специфике компании и профессиональной деятельности, то есть узкоспециализированными знаниями, зависящими от конкретного контекста и ситуации. 

Относительно недавние исследования перевернули прежние представления. Выяснилось, что часть кейс-тестов направлена на измерение общего знания — представлений об эффективном поведении в широком диапазоне ситуаций, которые отражают фундаментальные процессы социализации. В связи с таким изменением представлений о кейс-тестах исследования, касающиеся фальсификации, условно можно разделить на два периода.

Ранние исследования фальсификаций кейс-тестов

Большинство исследований были сосредоточены на том, как различные характеристики кейс-тестов (формат инструкции и ответа) и эффект научения могут усиливать или ослаблять фальсификацию результатов.

Формат инструкции. Социальная желательность в кейс-тестах варьируется в зависимости от того, как задан вопрос участникам. Если участников просят спрогнозировать их поведение в ситуации (поведенческая инструкция: «Выберите, как бы вы поступили в этой ситуации»), то они чаще дают социально одобряемые ответы. 

В то время как выбор наилучшего ответа (знаниевая инструкция: «Выберите наиболее эффективный ответ») снижает эффект социальной желательности, поскольку знание сфальсифицировать сложнее — человек либо знает, либо нет. Особенно этот эффект проявляется в ситуации высоких ставок, например, при отборе [4,5].

Формат ответа. Более сложные форматы ответов (ранжирование, выбор наилучшего и наихудшего ответов, оценка всех вариантов) демонстрируют более высокую устойчивость к искажениям в сравнении с выбором единственного ответа. Это связано с тем, что такие задания несут в себе более высокую когнитивную нагрузку, требуют одновременного учёта и согласования нескольких параметров, как следствие, затрудняют возможность искажать результаты. 

Недавнее исследование Лиянь Си показало, что наиболее устойчивы к фальсификации кейс-тесты с применением стратегии CR-ретеста, где сначала респонденту предлагают написать развёрнутый ответ на ситуацию, затем ему необходимо выбрать ответ из закрытого списка вариантов [7].

Эффект научения. По данным некоторых исследований подготовка к тестированию может приводить к улучшению результатов по кейс-тестам, особенно если респонденты выполняют аналогичные целевому тесту задания и обучаются стратегиям их прохождения. Как в России, так и за рубежом существует множество компаний, предлагающих свои услуги по подготовке к тестированию. 

Одним из способов снижения этого эффекта являются информирование респондентов о тестировании и предоставление им возможности ознакомиться с примерами заданий. Тем не менее вопрос научения при применении кейс-тестов является открытым и требующим дополнительного прояснения, поскольку имеющиеся данные получены в основном из академической среды и не могут быть в полной мере распространены на коммерческую сферу [3,6].

Что показали последние данные

В связи с тем, что ситуационная природа кейс-тестов подверглась сомнению, это привело к появлению иного рода исследований, связанных с фальсификацией.

Катарина Камински и её коллеги показали, что на выбор респондентов влияют характеристики вариантов ответов. Это подтвердило ранее выдвинутый тезис Стефаном Круммом: нет существенной разницы в том, предъявляется ли ситуация респондентам при прохождении теста или предъявляются только варианты ответов. 

Одним из ключевых выводов исследования заключается в том, что респонденты опираются на общие, внеситуационные характеристики вариантов ответов, а именно на их правдоподобность, социальную и профессиональную желательность. При этом экспертная оценка социальной желательности вариантов ответов имела слабую корреляцию с их фактической эффективностью [2].

Мэтт И. Браун и Мишель Мартин-Рауг в своей работе предлагают пересмотреть роль социальной желательности в кейс-тестах, которые основаны на статистическом ключе (consensus-based keying). Авторы утверждают, что кейс-тесты могут измерять не только профессиональные навыки или личностные черты, но и способность распознавать социальные нормы. Высокий результат по кейс-тесту может указывать на понимание респондентом того, какое поведение считается принятым в обществе. 

Таким образом, социальная желательность становится самим конструктом, который измеряет тест. По мнению авторов, знание социальных норм и уровень социального интеллекта могут быть ценными сами по себе, поскольку они дают информацию о способности человека усваивать корпоративные правила поведения. Стоит отметить, что в этом исследовании социальная желательность и эффективность ответов имеют высокий уровень корреляции, что говорит о том, что эксперты воспринимают «эффективное поведение» и «социально желательное поведение» как одно и то же [1].

Подводя итог, важно обратить внимание на то, что тема фальсификации кейс-тестов раскрыта в научном сообществе недостаточно. До сих пор нет однозначных данных, насколько сильно фальсификация влияет на результаты, надёжность и валидность кейс-тестов. Тем не менее накопленные эмпирические данные позволяют выделить ключевые стратегии снижения искажения результатов.

Резюмируем

• Информирование. Сообщение перед тестированием респондентам о том, что тест помогает выявить социально-желательные ответы и/или его целью является выявление соответствия между человеком и рабочей средой, позволит снизить мотивацию к искажению.
• Использование знаниевой инструкции в ситуации высоких ставок. При отборе или назначении на должность наиболее приемлемым является выбор эффективной и правильной стратегии поведения вместо предсказания собственного поведения в описанной ситуации.
• Усложнение формата ответа. Ранжирование, оценка всех вариантов ответов, выбор наилучшего или наихудшего ответов, применение стратегии CR-ретеста (Constructed Response Retest) снижает возможность к преднамеренному искажению результатов.
• Разработка ситуационных дилемм. Включение в ситуацию и варианты ответов равноценных принципов или ценностей, например, соблюдение дедлайна и ориентация на качество, вынуждает респондентов демонстрировать подлинные установки.
• Баланс желательности и правдоподобности вариантов ответов. Разделение социальной желательности и фактической эффективности способствует тому, что респондентам необходимо больше опираться на анализ ситуации, а не на общие представления о приемлемом поведении.

Источники

• Brown M. I., Martin-Raugh M. Exploring the role of social desirability in situational judgment test responding // Personality and Individual Differences. 2025. Vol. 247.
• Kaminski K., Felfe J., Schaepers P., Krumm S. A closer look at response options: Is judgment in situational judgment tests a function of the desirability of response op-tions? // International Journal of Selection and Assessment. 2019. Vol. 27, No. 1. P. 72–82. URL: https://ink.library.smu.edu.sg/lkcsb_research/6671
• Lievens F., Buyse T., Sackett P., Connelly B. The Effects of Coaching on Situational Judgment Tests in High-stakes Selection. 2012.
• Nguyen N. T., Biderman M. D., McDaniel M. A. Effects of response instructions on fak-ing a situational judgment test // International Journal of Selection and Assessment. 2005. Vol. 13. P. 250–260. DOI: 10.1111/j.1468-2389.2005.00322.x
• Peeters H., Lievens F. Situational judgment tests and their predictiveness of college students' success: The influence of faking // Educational and Psychological Meas-urement. 2005. Vol. 65. P. 70–89. DOI: 10.1177/0013164404268672
• Whetzel D. L., Sullivan T. S., McCloy R. A. Situational Judgment Tests: An Overview of Development Practices and Psychometric Characteristics // Personnel Assessment and Decisions. 2020. Vol. 6, No. 1. Article 1.
• Xi L., Weng Q., Corstjens J., Wang X., Chen L. Effects of a constructed response re-test strategy on faking, test perceptions, and criterion-related validity of situational judgment tests // International Journal of Selection and Assessment. 2024. Vol. 32, No. 4. P. 561–578.