Всех не перетестировать: В каких ситуациях можно назначать повторную оценку?

Автор: Юрий Шатров, научный консультант ЭКОПСИ Консалтинг, автор блога assessment.livejournal.ru (статья публикуется с разрешения автора)

Источник: блог assessment.livejournal.ru, 29 июля 2016г.

В 90-х годах исследователи пришли к удивительному открытию. С каждым прохождением теста MMPI человек диагностировался с меньшим количеством психических заболеваний (Kelley, Jacobs & Farr, 1994). В этот момент практики задались вопросом: как перетест влияет на результаты тестирования? Этот вопрос актуален и для оценки персонала, где повторное тестирование является относительно распространённой, но малоизученной практикой. Блог решил выяснить, что такое перетест и каковы его последствия. Пошумим?

Эта статья собрала множество комментариев в профессиональном сообществе ЭСПП, участником которого является и автор статьи. Посмотреть комментарии...

#IMAGE_0#

На Западе ретест приобрёл статус проблемы. Руководства и стандарты проведения тестирования не содержат точных указаний на то, в каких обстоятельствах можно или необходимо перетестировать. Но при этом поощряют данную практику, т.к. она может добавить объективности и справедливости процедуре оценки (Society for Industrial and Organizational Psychology, 2003). Поэтому HR’ы зачастую неосознанно злоупотребляют повторным тестированием. Также сами участники могут использовать перетест как лазейку - сославшись на плохой Интернет, перепройти тест или его отдельные блоки. В России практика тестирования только начинает регламентироваться, поэтому данная проблема характерна и для нас.

Разберём основные ситуации перетеста в порядке их объективности.

Плановое повторное тестирование спустя год и больше

Встречается в компаниях, где психологические тесты встроены в процесс управления талантами, и работники раз в год / несколько лет заполняют методики. Улучшаются ли со временем их результаты? Ведь мы привыкли думать, что психологические тесты измеряют качества, устойчивые на протяжении 2–3 лет? Ответ зависит от ситуации и инструмента. Результаты по тестам способностей – да, улучшатся. Для знающих: средний размер эффекта - 0,26 (мета-анализ, Hausknecht, Halpert, Di Paolo & Moriarty Gerrard, 2007). Причина – тесты способностей, конечно, измеряют способности, но всё-таки через конкретные задания. Человек может обучиться навыкам решения этих заданий - спонтанно, через многократные корпоративные тестирования, или намеренно с помощью соответствующих руководств. Факторы, которые помогут участникам улучшить свои результаты:

• Маленький объём банка заданий или его отсутствие. Здесь решающим фактором станет не навыки решения заданий, а память участников и их сплочённость.
• Использование того же формата заданий (Arendasy & Sommer, 2013; Villado, Randall & Zimmer, 2016). Банк заданий нивелирует эффект научения, но не до конца. Участники уже знают формат заданий, время их выполнения.

Привлечение других тестов способностей для перетеста затруднено по многим причинам. Это и затратно, и неэтично (участники будут оцениваться разными инструментами). Получается, у нас нет выхода: участники улучшат свои результаты.

С личностными опросниками ситуация сложнее. Зависит от конкретных используемых опросников - нормативных или ипсативных.
Если из года в год компания использует нормативные опросники – сотрудники будут улучшать свои результаты. Ведь результаты опросников вносят вклад в кадровое решение, и сотрудники это знают. Каждое прохождение будет для них ситуацией научения. Они будут учиться понимать, какое качество оценивает каждый вопрос. Насколько сильно каждый из них в итоге будет “врать” – зависит, в первую очередь, от следующих факторов:

• Успешность прошлых прохождений личностных опросников (Holladay, David & Johnson, 2013). Если сотрудник в прошлые тестирования получал низкие результаты – он будет стараться их улучшить.
• Значимость результатов для сотрудника (Hausknecht, 2010; Walmsley & Sackett 2013). Чем больше вес опросника в принятии решении - тем выше шанс того, что сотрудники будут стараться улучшить свои результаты.
• Наличие обратной связи по результатам первого прохождения (Holladay et al., 2013). Каждая обратная связь – будь то отчёт или устный ответ – будет учить сотрудника понимать измеряемые качества.

Использование ипсативных опросников мешает сотрудникам улучшать свои результаты. Ведь эти опросники вынуждают делать выбор между качествами, равными по своей “желательности”. Тем не менее, и здесь сотрудники смогут улучшить свои результаты, узнав “желаемый” профиль качеств и заполнив опросник соответствующим образом. Улучшения могут быть существенными (Hausknecht, 2010).

Наконец, следует помнить, что личностные качества не выбиты на молекулах ДНК и могут меняться со временем (McAdams & Olson, 2010). Если опросник заполнялся через год и более, изменения в результатах могут отражать реальные изменения в человеке. Или в том, как он себя начал воспринимать :)

ВНЕплановое повторное тестирование

2. Неккоректно проведённая процедура тестирования

К примеру, участник не был вовремя проинформирован об оценке, ему дали меньше времени на заполнение, чем другим участникам, тест заполнялся в непригодных, или были нарушены какие-либо иные положения Российского стандарта тестирования персонала.

В этом случае важно разобрать каждое нарушение и то, насколько оно повлияло на результаты. Особое внимание надо уделить в том случае, если тестировались способности или знания. Доступное время и условия заполнения являются критичными факторами в этой ситуации. Личностные опросники менее чувствительны к этим факторам. Будьте готовы: если участник не проходил тест способностей в совсем плохих условиях, второе заполнение улучшит его результаты. Если банка заданий нет или он небольшой - улучшение будет существенным. И даже в случае наличия объёмного объёма банка заданий участник улучшит свои результаты. Он уже знаком с процедурой – форматом заданий и временем их выполнения. Мы становимся заложниками ситуации: некорректная процедура тестирования, может быть, несильно повлияла на прохождение теста, но мы обязаны её повторить, тем самым дав участнику возможность улучшить свои результаты. Но у нас нет другого выбора.

3. Участник списывал или заполнял совместно с кем-то

Именно эта причина описана в Российском стандарте тестирования персонала как повод для перетеста (пункт 9.3). Основной вопрос заключается в источниках информации о том, что участник списывал или заполнял не сам / вместе с кем-то. Достоверность источников (от самого – к наименее):

• Свидетельства администраторов, контролирующих тестирование.
• Статистические методы, используемые в онлайн-тестировании. Это могут быть индексы соответствия ответов или среднее время ответа. Любой современный провайдер тестов может сказать, есть ли вероятность, что участник списывал.
• Подозрения HR’а или руководителя участника.

Общая рекомендация - проводить тестирование под контролем администратора, который будет следить за участниками. Остальные рекомендации зависят от инструмента. Если это тест знаний – ситуация, скорее всего, не имеет простого выхода, т.к. тесты знаний редко содержат банки заданий и поэтому не могут быть адекватно перетестированы. Участники уже помнят большую часть заданий и ответов. Если это тесты способностей – следует назначить повторное тестирование с использованием альтернативной формы теста. Это более короткий вариант теста, не содержащих заданий из полной формы. Результаты повторного прохождения должны указать, в какой мере первичный результат был справедлив. Практически каждый провайдер тестов имеет такие альтернативные формы, и вы можете обратиться к нему для перетеста.

4. Проблемы с компьютером или Интернетом, повлиявшие на результат участника

Наиболее лёгкая для манипуляции ситуация. Если тестирование проводилось под контролем администратора и на корпоративных компьютерах - нам не остаётся ничего, кроме перетеста. Только важно удостовериться, что технические проблемы действительно повлияли на результат. Если тестирование проводилось кандидатом неизвестно где - это повод ещё более серьёзно разобраться в ситуации. Как это можно сделать:

• Привлечь IT-специалистов и посмотреть, действительно ли происходили разрывы во время прохождения.
• Проверить, на каком задании / блоке теста (в случае если тест состоит из частей) происходили разрывы. Перетестировать надо не весь тест, а только соответствующий блок.

Но это всё косвенные замеры, и мы не сможем 100% сказать, действительно ли были проблемы. Поэтому лучше прибегать к превентивным мерам – тестировать под контролем администратора и непосредственно перед тестированием проверять компьютеры и Интернет. Важно помнить, что проблемы с Интернетом могут повлиять на выполнение только заданий, ограниченных по времени. Поэтому плохое Интернет-подключение не является поводом для перетеста личностных опросников.

5. Шкала лжи или согласованности в опроснике указывает на неправдоподобность ответов

Ситуация встречается в компаниях, которые используют нормативные личностные опросники (см. пункт 1). Это такие опросники, где участника прямо спрашивают о его уровне личностных черт. Чтобы хоть как-то защитить нормативные опросники от обмана, в них встраивают шкалы лжи или согласованности. Получив по ним высокие баллы, участник приглашается заполнить опросник ещё раз, “но уже более честно”.

Ситуация сложная и для организации, и для участника. Во-первых, перетест может оставить ситуацию прежней - высокие баллы по шкале лжи просто продублируются. Причина - шкалы лжи в основном измеряют не намерение человека обмануть опросник, а его склонность “слишком позитивно” мыслить о себе (McCrae & Costa, 1993; Ones, Viswesvaran & Reiss, 1996). Повторно заполнив опросник, он вновь репрезентирует эту склонность. Может сложится обратная ситуация, когда в перетесте участник получит более высокие баллы и по шкале лжи, и по шкалам опросника. Он уже сознательно будет давать более позитивные самоописания. Особенно если кадровое решение, которое будет принято по результатам, важно для участника. И он знает, что опросник обладает большим весом в этом решении. Чем более значима процедура оценки для участника, тем сильнее он будет стараться улучшить свои результаты (Hausknecht, 2010; Walmsley & Sackett 2013).

Также участник может подготовиться к повторному тестированию, прочитав про шкалы лжи и в итоге улучшив свои результаты. Как и все методы выявления социальной желательности, шкалы лжи достаточно уязвимы для подготовленных участников.

Что в итоге. Тестирование участника оплачено, но шкала лжи или согласованности указывает на не-истинность ответов. Перетест вряд ли выправит ситуацию. Компания в тупике. Рекомендация – не использовать нормативные опросники, или использовать их вместе с ипсативными заданиями (где просят сравнить несколько качеств между собой). Необходимость перетеста личностными опросниками отпадёт.

6. Участник получил низкие результаты, и это противоречит ожиданиям заказчика

Например, участник является сильным кандидатом, и его приём на работу / повышение важно для HR’а или руководителя.

Назначение перетеста в этом случае дискредитирует процедуру тестирования. По двум причинам:

1. Тесты не должны сильно коррелировать с оценкой менеджера или какого-либо другого человека (Connolly, Kavanagh & Viswesvaran, 2007). Важный нюанс: инструмент “создаёт” качество, которое он измеряет. Интеллект, измеренный руководителем, и интеллект, измеренный тестом – это не одно и то же качество. То же самое с личностными чертами. Это расхождение и делает тесты ценным инструментом – они рассматривают качество с уникального ракурса (и поэтому добавляют валидности).
2. Участник получит преимущество, т.к. сможет улучшить свои результаты в повторном тестировании. Что (а) несправедливо по отношению к другим участникам и (б) снижает объективность оценки (на которую тесты претендуют).

Мнение какого-либо человека не может быть поводом для перетеста.

Резюме

Повторное тестирование – это сложность и испытание не только для участника, но и для оценочной процедуры. Дабы вы ориентировались в этой процедуре, как итог статьи составлена "памятка" перетеста.
Литература:

1. Arendasy, M. E., & Sommer, M. (2013). Quantitative differences in retest effects across different methods used to construct alternate test forms. Intelligence, 41(3), 181–192.
2. Connolly, J. J., Kavanagh, E. J., & Viswesvaran, C. (2007). The convergent validity between self and observer ratings of personality: A meta‐analytic review.International Journal of Selection and Assessment, 15(1), 110-117.
3. McCrae, R. R., & Costa, P. T. (1983). Social desirability scales: More substance than style. Journal of consulting and clinical psychology, 51(6), 882.
4. Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: a meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373.
5. Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. Personnel Psychology, 63(2), 299–324.
6. Holladay, C. L., David, E., & Johnson, S. K. (2013). Retesting personality in employee selection: implications of the context, sample, and setting. Psychological reports, 112.
7. Kelley, P. L., Jacobs, R. R., & Farr, J. L. (1994). Effects of multiple administrations of the MMPI for employee screening. Personnel Psychology, 47, 575–591.
8. McAdams, D. P., & Olson, B. D. (2010). Personality development: Continuity and change over the life course. Annual review of psychology, 61, 517–542.
9. Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81(6), 660.
10. Villado, A. J., Randall, J. G., & Zimmer, C. U. (2016). The effect of method characteristics on retest score gains and criterion-related validity. Journal of Business and Psychology, 31(2), 233–248.
11. Walmsley, P. T., & Sackett, P. R. (2013). Factors affecting potential personality retest improvement after initial failure. Human Performance, 26(5), 390–408.