Условия успешной валидизации тестов

Заслуженный профессор МГУ им. М.В. Ломоносова и научный руководитель Лаборатории "Гуманитарные Технологии" Александр Шмелёв 13 февраля на Зимней сессии конференции "Оценка персонала" расскажет об условиях успешной валидизации тестов.

Краткие тезисы выступления:

Валидизация - процедура проверки валидности тестов - предполагает анализ сходства (корреляции) результатов тестирования и KPI, или КПЭ (ключевых показателей эффективности).

1. Разработчик НЕ имеет доступа к КПЭ вне сотрудничества с пользователями тестов. Поэтому условие номер 1 - это сотрудничество разработчика и пользователей теста.

2. КПЭ часто подменяется субъективистскими оценками сотрудников со стороны линейных руководителей. Поэтому условие номер 2 - это объективизация КПЭ, использование реальных данных о производительности труда.

3. Часто КПЭ снимают ДО проведения тестирования и полученная корреляция ничего не говорит о направлении причинной связи. Условие 3 - это применение схемы прогностической валидизации.

4. Прогностическая валидизация предполагает получение КПЭ позднее, чем проводится тестирование. Но, если результаты теста становятся известны в организации (в том числе самим тестируемым), то эти результаты влияют на КПЭ и это влияние может быть парадоксальным, которое приводит к отрицательной корреляции (случаи гиперкомпенсации низких данных тестирования). Поэтому условие номер 4 - сокрытие результатов тестирования ДО получения данных КПЭ.

5. Для оценки точности прогноза нередко ошибочно коэффициент корреляции между тестом и КПЭ возводят в квадрат и получают очень низкую точность. Правильная оценка точности прогноза зависит от "точки отсечения" (доли пригодных сотрудников) и упрощенно вычисляется с помощью сложения половины корреляции и 0,5 (уровня случайного угадывания). Условие номер 5 - грамотная работа со статистическими показателями корреляции и вероятности.

6. Эффективным работникам часто поручают более трудные задачи и это снижает для них такой показатель как "процент выполненных задач". Нужна нормировка на трудность задачи, которую НЕ умеют выполнять сами заказчики тестов. Условие номер 6 - привлечение к расчету КПЭ квалифицированных тестологов, способных вносить поправки в некорректные данные по КПЭ.

7. Дешевые тесты с невысокой валидностью могут оказаться более рентабельными, чем дорогие тесты с высокой валидностью. Условие номер 7 - практическая эффективность тестирования связана не только с валидностью, но и себестоимостью тестирования.

О спикере:

Шмелёв Александр Георгиевич - доктор психологических наук, заслуженный профессор МГУ им. М.В. Ломоносова, научный руководитель Лаборатории «Гуманитарные Технологии», член Экспертного совета Российского психологического общества и других профессиональных ассоциаций, включая международные.