Полуфиналы. Что нужно знать об атипичных протоколах

Источник: сайт конкурса "Лидеры России"

В полуфинал конкурса «Лидеры России» по сумме набранных баллов вышли 240 участников, чьи протоколы прохождения тестов были расценены системой как «атипичные». Перед началом полуфинальных состязаний этим участникам предстоит пройти повторное тестирование в присутствии представителя конкурсной комиссии.

Контроль прохождения теста знаний участниками осуществлялся двумя методами. Первый – анализ временных затрат на решение конкретного задания. Для каждого задания выявлен интервал времени, в который укладывается 90 процентов участников. Соответственно, за отклонение в ту или иную сторону начисляется «штрафное очко» по особой шкале достоверности. От 1 до 4 таких очков получают большинство участников. Но если их оказывается больше половины, это считается «статистически маловероятным событием».

Комментирует Александр Георгиевич Шмелёв, заслуженный профессор МГУ имени М. В. Ломоносова, доктор психологических наук, основатель и научный руководитель Лаборатории «Гуманитарные Технологии»:

– В тесте знаний 15 и больше штрафных очков из 30 набрали ровно 423 участника из категории «А». Можно ли их сразу дисквалифицировать на этом основании? Ни в коем случае! Наверняка немалую долю составляют очень способные люди, работавшие очень быстро. Но таким людям не составит труда подтвердить свой уровень при очном повторном тестировании. Падение балла на 10-15 процентов из-за волнения будет считаться простительным. А те, кто пользовался помощью «друзей из зала» или интернетом, не смогут подтвердить свой уровень, когда таких друзей и технических средств рядом не будет.

Второй способ контроля «атипичности» базируется на данных о выполнении комплекса заданий на ранжирование объектов. Статистика показывает, что стопроцентное соответствие эталонной последовательности практически не встречается, это редкочастотное событие.

Комментарий Александра Георгиевича Шмелёва:

– Кто знает точные значения долготы, широты и численность населения сравнительно небольших городов России? Абсолютное большинство участников показывало в этих заданиях лишь «приблизительно правильное решение» с каким-то количеством ошибок. Например, 100-процентную точность во всех 5 заданиях по Истории дали только 213 участников из 84 тысяч. Но это тоже большая цифра. Ведь для 10 объектов может быть множество разных перестановок. По формуле 10! (факториал от числа 10) это 3,6 млн комбинаций. Таким образом, эти сверхточные участники выступили как профессиональные историки. Возможно, они таковыми и являются, но тогда им будет нетрудно доказать это в ходе очного контрольного тестирования.

Аналитики конкурса также установили связь между 100-процентными «ранжировками» и отклонениями от типичного времени решения. Выяснилось, что в целом участники, показавшие стопроцентную точность в заданиях на ранжирование, по временному критерию получают на 2,5 больше штрафных очков за необычное время ответа. Это и стало основанием для того, чтобы пригласить их на контрольное тестирование. Основанием для дисквалификации будет наличие более 30 процентов ошибочных решений.