Дистанционное тестирование: где взять большого брата, который за всеми следит?

Содержание:

• Так просто следить за респондентом и по скайпу можно!
• Проблема №1. Как узнать, что тестирование проходит тот самый кандидат?
• Проблема №2. Ладно, это точно он. Как мы поймем, что он не списывает?
• Проблема №3. А если он просто откроет гугл в соседнем окне?
• Проблема №4. У нас проходит аттестация/отбор в кадровый резерв. Что, если сотрудник, который первым войдет в систему, заскриншотит все наши вопросы и распространит их по всей компании?
• Что получаем в результате?
• И… сюрприз!

Технологии не стоят на месте, космические корабли бороздят просторы Вселенной, а провайдеры оценки персонала вот уже больше десятка лет как активно предлагают онлайн-тестирование вместо неудобного очного. Недостаток у онлайн-тестов только один – если ты сам не видел, как тестируется респондент, никогда нельзя быть уверенным в достоверности полученных результатов.

Стандартное решение этой проблемы, прописанное, кстати, в Стандарте тестирования персонала, - пригласить респондентов, получивших хороший результат (и только их – в этом и состоит первичный отсев и экономия времени) на очное перетестирование.

Но теперь есть и альтернативный вариант. Довольно свежий – даже статьи соответствующей в русской Википедии для него еще нет. Имя ему – прокторинг. Эта несколько неблагозвучная для русского уха калька с английского означает собой дистанционное наблюдение за ходом оценочных мероприятий. Для этого нужны лишь веб-камера, микрофон и интернет.

Так просто следить за респондентом и по скайпу можно!

Да, но в этом не будет почти никакой экономии Ваших ресурсов. Прокторинг – о другом. Это полуавтоматизированная процедура, в которой соседствуют автоматический и человеческий контроль за респондентом. Проктор (наблюдатель) может одновременно надежно контролировать до 6 респондентов. Специальная программа, киберпроктор, автоматически подсказывает настоящему, живому проктору, на что обратить внимание: например, этот респондент отводит взгляд от монитора, а другой переключается на другие окна, разговаривает с кем-то и т.д. Проктор смотрит на указанного респондента и проверяет, что там происходит на самом деле и не ошибся ли его роботизированный друг. Всякое может случиться: например, респондент, задумавшись, закрыл лицо руками. А киберпроктор «потерял» его (#куку) - не смог идентифицировать лицо, а потому сразу сообщил «респондент вышел из кадра!». Такой взаимовыгодный союз человека и машины создает оптимальное соотношение между пропускной способностью системы и ее результативностью.

Все это уже работает в реальности. Дистанционные экзамены с помощью прокторинга у нас в стране принимают МФТИ, ВШЭ, НП «Открытое образование» (openedu.ru, аналог всем известной Coursera).

Наверняка у Вас возникли вопросы о том, как прокторинг решает конкретные проблемы. Например, такие…

Проблема №1. Как узнать, что тестирование проходит тот самый кандидат?

Ответ задолго до разработчиков прокторинга придумали стражи порядка. Конечно, по документам. В системе прокторинга разработана целая процедура перед началом тестирования, которая обеспечивает идентификацию респондента. Проктор контролирует процесс: респондент подносит к веб-камере паспорт или права, а проктор сравнивает ФИО с имеющейся у него информацией о респонденте, а фото – с лицом на экране.

Проблема №2. Ладно, это точно он. Как мы поймем, что он не списывает?

Умная система не только распознает лицо в кадре, но и замечает, куда смотрит респондент. Если он подозрительно часто и долго смотрит, например, на стену или себе на колени, приложение обязательно зафиксирует это и сообщит проктору. Кроме того, в процедуре проведения тестов с прокторингом зафиксировано, что респондент перед началом сеанса обязан повернуть камеру на 360 градусов, показав проктору всю комнату и убедив его в том, что на стенах не развешаны формулы, а напротив не сидит его друг со справочниками.

Проблема №3. А если он просто откроет гугл в соседнем окне?

И это тоже «заметит» приложение. Проктор на протяжении всего экзамена может видеть целиком весь рабочий стол респондента. Система фиксирует переключение с одного активного окна на другое, запуск сторонних приложений. Тревожное оповещение об этом сразу же получает наблюдающий проктор.

Проблема №4. У нас проходит аттестация/отбор в кадровый резерв. Что, если сотрудник, который первым войдет в систему, заскриншотит все наши вопросы и распространит их по всей компании?

Скриншот, конечно, сделать можно. Но потом каждый скопированный снимок экрана нужно куда-то вставить – сохранить скопированное, а значит, открыть какое-то стороннее приложение. Вот тут злоумышленника и поймают. Здесь же стоит вспомнить и о том, что, например, все наши тесты интеллекта обладают расширенным банком заданий (минимум 3-кратным). Так что даже если первопроходец окажется неплохим мнемонистом, он мало чем поможет своим приятелям.

Что получаем в результате?

1. Респондент автоматически корректирует свое поведение от одного только факта наблюдения за ходом тестирования. В лучшую сторону.
2. Проктор добивается того, что респондент проходит тест сам и только своими силами.
3. Заказчик же получает не только гарантированно достоверный результат тестирования, но и сохраненный лог сеанса тестирования, с указанием на возможные спорные ситуации (т.е. ответ на вопрос: «а пытался ли респондент мошенничать?»)

И… сюрприз!

Друзья, дело в том, что мы начинаем сотрудничество с отечественным сервисом прокторинга Экзамус. Хотим, чтобы наши онлайн-тесты в случае high-stakes оценки имели возможность быть защищенными. И мы хотим нащупать максимально удобную для всех схему сотрудничества. Для этого нам необходимо Ваше мнение. Сейчас от ваших голосов зависит, быть или не быть проекту, и каким ему быть. Пожалуйста, выскажитесь прямо сейчас (Вы ждете такую услугу - замечательно, дайте нам знать об этом; нет - напишите, почему), мы очень ждем!