Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться

Содержание

• На вид простак, а в душе хитряк
• Лучшее средство – профилактика
• Что плохо лежит, сорока тут как тут
• Как ни хитри, а все наружу выйдет
• Давайте жить честно…

Алёна Мезенцева, заместитель руководителя отдела исследований и разработок Лаборатории «Гуманитарные Технологии» считает, что оценочные процедуры воспринимаются не как инструмент, помогающий сотруднику и работодателю найти друг друга – создать прочный трудовой союз, основанный на общности ценностей, ожиданий и взаимной симпатии, избежав при этом упрёков, недовольств, разочарований и тягот расторжения трудовых отношений, но как пустая формальность.

На вид простак, а в душе хитряк

Проблема фальсификации результатов тестирования и других оценочных процедур стара как мир. Начинается всё со школьной скамьи (а может даже раньше): с первых робких попыток списывания и краснеющих лиц. С возрастом ставки растут, оценочные процедуры становятся всё более серьёзными и влияют не только на итоговую оценку в семестре, но и на то, получим ли мы работу мечты или инвестиции для воплощения в жизнь нового гениального проекта. По мере накопления жизненного опыта, с каждой очередной набитой шишкой приходит осознание: те, кто берут хитростью, порой несправедливо обходят на финише тех, кто опирается лишь на собственные сильные стороны, знания и способности.

Оценочные процедуры воспринимаются не как инструмент, помогающий сотруднику и работодателю найти друг друга – создать прочный трудовой союз, основанный на общности ценностей, ожиданий и взаимной симпатии, избежав при этом упрёков, недовольств, разочарований и тягот расторжения трудовых отношений, но как пустая формальность.

Фальсификация – серьёзная проблема, которая приводит к тому, что люди оказываются не на своих местах и получают НЕзаслуженные или НЕ получают заслуженные привилегии. Так существует ли средство против хитрости?
#IMAGE_1#

Лучшее средство – профилактика

Как по мне, то не придумали ещё более эффективного лекарства от всех болезней, чем профилактика. С проблемой фальсификации результатов тестирования лучше бороться ещё до начала этого самого тестирования. Развернутый ответ на вопрос «как?» содержится в Российском стандарте тестирования персонала [1].

Первым делом доверие. Как бы банально это не звучало, но выбранный инструмент должен соответствовать целям тестирования: цель должна определять средства, а не наоборот. Если слесаря по ремонту сантехнического оборудования при приёме на работу просят пройти комплексный тест на эрудицию, то никакого доверия к процедуре тестирования это не вызывает. Напротив, заставляет сомневаться в компетентности лиц, это тестирование проводящих, и мотивирует заполнять тест абы как, с привлечением близких родственников и любых доступных информационных и материальных ресурсов.

Доверие подкрепляют понятность и прозрачность. Важно, чтобы респондент был проинформирован о целях и задачах тестирования, о том, кто будет иметь доступ к его результатам и к каким последствиям эти результаты могут привести. Этика сотрудничества и откровенности имеет свои ограничения: однако не стоит ждать честности от респондента в ответ на дезинформацию или скрытность.

Фальсификация – это не только списывание и использование подсказок – это любые действия перед, во время или после прохождения тестирования, целью которых является получение несправедливых преимуществ или недостоверных результатов. Следовательно, фальсификация возможна не только со стороны тестируЕМЫХ, но и со стороны тестируЮЩИХ. Если у лиц, проводящих тестирование, нет уверенности в качестве теста и надежности его результатов, то у них нет причин подходить к организации процедуры оценки серьёзно, и есть куча рациональных оправданий подсказкам и нарушениям регламента.

Кроме того, что нужно использовать качественные тесты, важно привлекать к администрированию тестирования ответственных и подготовленных исполнителей незаинтересованных в результатах оценки.

Что плохо лежит, сорока тут как тут

Чтобы не возникало желания фальсифицировать результаты тестирования, не нужно предоставлять такой возможности.

Нет смысла говорить о важности организации процедуры тестирования. Очное тестирование в компьютерном формате, в звукоизолированном помещении с видеонаблюдением, за отдельными партами со зрительными перегородками, с изъятыми телефонами, отсутствием подключения к интернету, автоматическим контролем времени прохождения тестирования, уникальными вариантами тестовых заданий для каждого респондента и т.д. – конечно, это утопия. Хотя в случае high-stake оценки об этом стоит подумать.

В действительности же (особенно при массовом тестировании людей, находящихся в разных городах и даже странах) проведение очного тестирования часто затруднительно и невозможно. Как в таком случае можно обеспечить достоверность результатов?

Существуют два взаимодополняющих пути.

1. Хитрый Митрий, да и Ванька не дурак: защита на уровне структуры теста
   
   В первую очередь – это встраивание защиты от фальсификации в структуру и содержание самих тестовых методик. В случае личностных методик речь идет об
   • ипсативной технология построения опросников,
   • автоматическом ограничении количества нейтральных ответов,
   • разработке дополнительных шкал лжи и согласованности ответов, которые хоть и не мешают фальсификации, но помогают её выявить.
   Последнее решение, на мой взгляд, является весьма дискуссионным. Ну, получил наш респондент высокий балл по шкале Социальная желательность, и что теперь делать? Обвинить во лжи мы его на этом основании не можем: высокий балл по данной шкале, напротив, порой набирают кристально честные люди. Выход – ипсативная технология, которая работает на уровне причины проблемы – желания представить себя в лучше свете. Одновременно умным и красивым, увы, быть не получиться – придётся выбирать.
   
   В случае интеллектуальных методик и тестов знаний важны:
   • введение ограничений по времени на решение задания и теста в целом,
   • наличие расширенного банка тестовых заданий,
   • рандомизация,
   • возможность прохождения верификационного тестирования,
   • наличие механизма отслеживания количества отвлечений пользователя от вкладки прохождения тестирования (например, переход на другие вкладки) и т.д.
   Чем больше механизмов защиты включено в структуру теста, тем лучше. Однако не стоит бросаться в крайности и разрабатывать 20кратный банк заданий: выбор случайным образом 15 заданий из 4ехкратного банка уже даёт нам более миллиарда уникальных комбинаций. Это тот случай, когда в погоне за количеством не стоит забывать о качестве. Гораздо важнее регулярно проверять психометрические параметры заданий, удалять и заменять устаревшие, чем добавлять всё новые и новые без должной проверки.


2. Доверяй, но проверяй: защита на уровне администрирования
   
   Всё это, конечно, хорошо, но как проверить, что тестирование проходил именного тот самый респондент, один, не обложившись томами Советской энциклопедии?
   
   Для этого существуют системы онлайн-прокторинга. Прокторинг – это технология контроля за прохождением тестирования, реализуемая полностью автоматически или с участием специально обученных лиц (прокторов), зачастую не имеющих отношения ни к работодателю (или другому лицу, проводящему тестирование), ни к кандидату. Эта технология позволяет осуществлять идентификацию и отслеживание прохождения тестирования респондентом по данным с веб-камеры и звукозаписи, полученной через микрофон. Система настроена на распознавание лиц и обнаружение угроз достоверности данных, например,
   • отсутствие тестируемого в кадре,
   • появление в объективе камеры другого человека,
   • посторонние звуки,
   • долгое отвлечение взгляда тестируемого от экрана монитора и т.д.
   Такой автоматический контроль за прохождением тестирования позволяется предотвратить 95% угроз фальсификации со стороны респондента и получить действительно точную и объективную оценку знаний, способностей, личностных особенностей. Использование современных технологий позволяет совместить удобство удалённого онлайн-тестирования с контролируемостью и достоверностью очной процедуры прохождения оценки.

Оба описанных пути обеспечения достоверности результатов тестирования являются воплощением ценности технологичности: позволяют решать задачи оценки просто, удобно, максимально автоматизировано.

Как ни хитри, а все наружу выйдет

Однако порой бывает слишком поздно… Тестирование проведено, требования к его проведению нарушены, и есть подозрение, что «читерство» имело место быть. Как проверить, можно ли доверять полученным результатам?

Здесь на помощь приходит статистика и аналитика. На сегодняшний день разработано и апробировано большое количество процедур, позволяющих выявлять списывание, использование вспомогательных средств во время тестирования, утечку заданий, помощь и подсказки со стороны администраторов тестирования и др. Зачастую для этого используются IRT алгоритмы обработки результатов, но существуют и иные методы. Иногда, чтобы обнаружить нарушение достаточно просто проанализировать время ответов на вопросы. Недавний пример из практики: задания для двух групп респондентов оказались очень разными по уровню сложности – анализ времени ответов на вопросы позволил установить, что причина того не высокие способности, а использование калькулятора.

Статистические методы выявления «читерства» применимы, главным образом, к тестам профессиональных знаний и тестам способностей. Обращаю внимание на то, что статистика указывает нам лишь на вероятность нарушения достоверности процедуры тестирования и не позволяет обвинить кого-то в обмане. Результаты статистического анализа – это повод внимательнее отнестись к полученным данным, по возможности организовать процедуру перетестирования или другой верифицирующей проверки.

Давайте жить честно…

Как ни крути, когда ставки высоки, и конкуренты дышат в спину, люди будут искать хитроумные возможности улучшить свои результаты тестирования. Внимание к первым двум рекомендациям: соблюдение требований к проведению процедуры оценки и использование качественных оценочных инструментов уже значительно поможет снизить угрозы фальсификации. В особых случаях рекомендуем прибегать к тяжёлой артиллерии – прокторингу и Её Величеству Статистике.

И всё же, я верю, что откровенность порождает откровенность, так что будем честными, и мир ответит тем же.

Использованная литература

1. Российский стандарт тестирования персонала // Организационная психология, 2015. Т. 5. № 2. С. 67–138. 
2. Bishop K.L., Stephens C.N. Detecting Unusual Item Response Patterns Based on Likelihood of Answer // 2nd Annual Conference on Statistical Detection of Potential Test Fraud, October 17-19, 2013.
3. Handbook of Quantitative Methods for Detecting Cheating on Tests // ed. By Gregory J. Cizek, James A. Wollack. – NY: Routledge, 2017