Исследование: в каких тестах интеллекта респонденты чаще всего ищут ответы в интернете

Содержание:

• Анализ поиска ответов в интернете: рейтинг типов вопросов и время переключения
• Различия по полу и возрасту для поиска ответов
• Как найти «подсматривающих» по данным о переключениях
• Оценка финансовых рисков из-за списывания респондентов
• Резюмируем

Для каких шкал интеллекта респонденты чаще всего ищут ответ во время тестирования? Чтобы это выяснить, мы проанализировали 949 результатов «Теста Интеллектуальных Способностей» (ТИПС): подсчитали количество переключений между окнами браузера, измерили время поиска ответов на вопросы, выявили гендерные и возрастные различия в поведении, а также оценили финансовые риски проведения тестирования, если не использовать прокторинг.

В отчёте представлены два кейса: данные из служебных файлов о переключениях окон во время теста и анкетные данные для визуализации шкал, по которым пользователи чаще всего обращались к подсказкам.

Анализ поиска ответов в интернете: рейтинг типов вопросов и время переключения

Для анализа взят 84 091 прокат вопросов теста, из которых мы исключили 76 032 проката без переключений в другие окна, затем удалили 2 599 прокатов с переключением менее 3 секунд (считаем как помехи тестирования) и прокаты с длительностью переключения свыше 70 секунд, так как тестовый плеер автоматически переключает задание. 

В итоге для анализа времени переключений — как индикатора поиска ответов в интернете — осталось 4 424 проката вопросов.

Описание содержания столбцов:

• Шкала — шкалы теста «ТИПС».
• «Всего тестирований» — общее количество вопросов по каждой шкале.
• «Без переключений» — количество вопросов для каждой шкалы, при ответе на которые респонденты не переключали окна браузера.
• «Менее 3 сек.» — переключения окон, в том числе всплывающие окна других программ в системе. Тайминг выбран произвольно: по мнению автора отчёта, нельзя найти ответ в поисковике за время менее 3 секунд и внести ответ в систему тестирования. Система считает время в миллисекундах.
• «Переключение > 3 сек.» — общее количество переключений с длительностью более трёх секунд. Как наиболее вероятная гипотеза — поиск ответов на вопросы.
• «% от всего» — процент «Переключение > 3 сек.» от «Всего тестирований». Процент вопросов для каждой шкалы, для которых искали ответы.
• Кол-во > 70 — тестовый плеер переключает задание на следующий вопрос, ответ не выбран.
• Взяты в анализ — количество прокатов вопросов, которые были проанализированы.

Рейтинг шкал, для которых чаще всего идёт поиск вопросов для описанных выше условий: «Эрудиция» закономерно заняла первое место, а вот «Лексика» стала неожиданным открытием, сместив ожидаемые «Вычисления» на третью позицию. Замыкает рейтинг «Невербальная логика» — вероятно, из-за сложности формулировок, затрудняющих быстрый поиск ответов в интернете (табл. 1).

Полный рейтинг, медиана (средневзвешенное) и мода (MODA, наиболее частотное значение) времени переключения представлены в таблице 2.

Анализ медианного времени поиска ответов показывает, что быстрее всего пользователи находят ответы по шкале «Эрудиция» — 10 секунд; на втором месте — «Вычисления» с результатом 11 секунд; третье место делят «Пространственное мышление» и «Обработка информации» с показателем 12 секунд. 

Медленнее всего идёт поиск для шкалы «Невербальная логика» — 17 секунд. При этом показатели MODA практически одинаковы для всех шкал, что указывает на то, что большинство пользователей находят ответы в интернете с сопоставимой скоростью независимо от типа заданий.

Визуализация данных не выявила сенсационных открытий, однако обратил на себя внимание «большой правый ус» — значительный временной промежуток от медианы со стандартным отклонением до максимальных значений, — который наблюдался почти у всех шкал, кроме «Эрудиции», показавшей чуть более сжатый диапазон.

Различия по полу и возрасту для поиска ответов

Пол респондента

В исходной выборке из 949 тестирований женщины составляют 511 человек, мужчины — 436, и ещё 2 анкеты не указали пол. Таким образом, общее количество результатов тестирования женщин немного преобладает. Однако при подсчёте активного поиска ответов по шкалам картина меняется — мужчины демонстрируют более высокую активность в поиске ответов по сравнению с женщинами (табл. 3). 

Пока неясно, является ли это устойчивым феноменом или найден локальный факт — нужно сравнивать различные выборки в дальнейшем. При этом рейтинг шкал, по которым ищут ответы, остаётся одинаковым для обоих гендеров: «Эрудиция», «Лексика» и «Вычисления» сохраняют лидерские позиции.

Время поиска. Анализ данных показывает наличие различий во времени поиска ответов: женщины демонстрируют более высокую скорость нахождения правильных ответов практически по всем типам заданий (диагр. 2).

Возраст респондента

Различий в рейтинге популярности шкал снова нет, состав пьедестала «призёров» не изменился — это шкалы «Эрудиция», «Лексика» и «Вычисления». Респонденты из возрастной группы «30–39» чаще ищут ответы по этим шкалам (табл. 4).

Время поиска. Анализ возрастных групп выявил недостаточное количество данных в категориях «до 20» и «50+», поэтому эти группы были исключены из визуализации. При этом ни одна из оставшихся возрастных групп не демонстрирует стабильного преимущества во времени поиска ответов по всем шкалам теста «ТИПС» — результаты варьируются без выраженного лидера (диагр. 3).

Вывод. Анализ данных показывает стабильную картину: респонденты чаще всего ищут ответы по четырём шкалам — «Эрудиция», «Лексика», «Вычисления» и «Пространственное мышление». Значимых возрастных или гендерных различий в частоте поиска не выявлено, однако обнаружено, что женщины в среднем тратят меньше времени на поиск ответов по сравнению с мужчинами.  

Для просмотра таблиц и диаграмм листайте галерею изображений (голубая стрелка вправо).

Как найти «подсматривающих» по данным о переключениях

Теперь разберём, как администратору тестирования, используя стандартные функции, выявить различия между ответственными респондентами и теми, кто активно ищет ответы. Один из практических вариантов — анализ данных столбца «Переключения» в анкете.

Проиллюстрируем на примере. Возьмём результаты тестирования сотрудников одной компании с филиальной структурой, которое проводилось для оценки потенциала подразделений. Всего было протестировано 663 человека.

Сгруппируем данные по столбцу «Переключения» на три категории: «Нет переключений» — идеальный сценарий; «До 11 переключений» — допустимый уровень, вероятно вызванный всплывающими окнами или системными помехами; «11 и более переключений» — явный признак активного поиска ответов.

Такая группировка позволяет выделить подозрительные сессии и сравнить результаты тестирования между группами, оценив потенциальное влияние подглядывания на итоговые баллы. Что видим в результате:

Теперь построим график распределения результатов тестирования — сгруппируем данные по столбцу с переключениями и исключим промежуточную группу «До 11 переключений». Это позволит визуально сравнить две крайние группы: тех, кто не совершал переключений (честные результаты), и тех, у кого было 11 и более переключений (активный поиск ответов).

Для наглядности наложим на график кривую нормального распределения — это поможет сразу увидеть, смещены ли результаты группы с высокими переключениями в сторону завышенных баллов, что будет свидетельствовать о систематическом списывании.

Визуализация наглядно подтверждает различия между группами по ключевым шкалам — «Эрудиция», «Лексика», «Вычисления» и «Пространственное мышление». Особенно интересная картина наблюдается в шкале «Пространственное мышление» для группы с 11+ переключениями: график показывает два выраженных пика распределения.

Первый пик соответствует высоким результатам (вероятно, успешное списывание), но второй пик расположен левее медианы — это указывает на то, что даже активный поиск ответов не всегда даёт преимущество: часть респондентов демонстрирует результаты ниже расчётного среднего для теста.

Оценка финансовых рисков из-за списывания респондентов

Далее мы рассчитали стоимость тестирования для группы из 663 человек из примера выше:

• Общие затраты на тестирование — 617 916 рублей.
• Расходы на недостоверные результаты — 42,7% (263 756 рублей).
• Расходы на условно достоверные результаты — 23,4% (144 460 рублей).
• Расходы на достоверные результаты — только 33,9% от общих расходов (209 700 рублей).

Резюмируем

1. Респонденты стремятся приукрашивать результаты тех способностей, которые преимущественно можно и нужно развивать всю жизнь — это шкалы «Эрудиция», «Лексика» и «Вычисления».
2. Проведение тестирования необходимо сопровождать информацией о формах контроля за достоверностью результатов, обязательно контролировать условия получения ответов. Хотя бы по количеству переключений в другие окна. В проекте тестирования иметь чёткие критерии достоверности и список мер для нарушителей с возможностью их применения.
3. Дистанционное тестирование сопровождать прокторингом, аудио- и видеозаписью прохождения тестирования. Стоимость использования прокторинга может оказаться ниже, чем расходы на получение недостоверных результатов.
4. Очное тестирование в присутствии администратора не теряет актуальности для достоверности результатов в критически важных проектах. При организации такого тестирования необходимо создать комфортную обстановку, рассказать, зачем проводится оценка, и провести подробный инструктаж по процедуре тестирования. Словом — создать условия, при которых респондент сможет и будет стремиться показать максимально высокие результаты.
5. Склонность к приукрашиванию результатов тестирования не является особенностью конкретных демографических или профессиональных групп — это повсеместное явление, которое равномерно распределено среди респондентов независимо от пола, возраста, должности или опыта.

Материал подготовлен при участии Алексея Жердева, технического директора, и Владислава Козлова, младшего программиста.