Прокторинг: что нужно знать HR-у

Содержание

• Что такое прокторинг?
• Как работает система прокторинга
• Какие технологии используются в системе онлайн прокторинга?
• Этапы работы с системой: что делает организатор
• Правила проведения: что делает респондент
• Прокторинг в подборе и оценке персонала
• Интеграция системы тестирования Maintest и прокторинга
• Варианты подключения услуги

Что такое прокторинг?

Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.

Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.

То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.

Как работает система прокторинга

Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:

1. Подмена респондента. Программа отличит одного человека от другого, основываясь на изначальном фото в профиле, и сообщит о подмене. В спорных случаях организатор может обратиться к видеозаписи.
2. Списывание с электронных или физических носителей. Программа «замечает» отсутствие человека в кадре. Более того, система отслеживает направление взгляда человека, следя за тем, чтобы фокус не изменялся. Также фиксируются попытки смены активного приложения и вкладок браузера.
3. Подсказки. Технология отслеживает фоновые шумы и присутствие постороннего человека в кадре.
4. Кража контента. Попытки скопировать и сохранить задания теста блокируются.

Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:

• предупредит респондента о выявленном нарушении и позволит продолжить работу;
• сразу же завершит тестирование;
• автоматически завершит тест, если общий уровень доверия упадет ниже определенного уровня.

Какие технологии используются в системе онлайн прокторинга?

Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.

Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.

Этапы работы с системой: что делает организатор

1. Настройка сеанса.  На этом, самом первом этапе, организатор определяет, что будет разрешено, а что запрещено. Например, пользоваться калькулятором можно, а использовать поисковые системы нельзя. Отмечает, нужна ли верификация личности или нет.
2. Проверка оборудования. Перед началом тестирования сервис проверяет, работает ли у респондента камера, микрофон, достаточна ли пропускная способность интернет-соединения.
3. Непосредственный контроль: отслеживание показателей достоверности. Специально обученный алгоритм или проктор (человек, наблюдатель), либо они совместно отслеживают параметры, определенные настройками.

   

1. Синхронный прокторинг — заключение формируется в режиме реального времени. Как правило, получение итоговой оценки занимает не более 5 минут с момента окончания процедуры. Синхронный процесс может проводиться как в автоматическом режиме, когда оценку выносит алгоритм, так и с реальным человеком — проктором, наблюдающим за действиями респондентов со своего рабочего места.
2. Асинхронный прокторинг — заключение формируется через какое-то время после завершения процедуры. Эта «задержка», время, за которое должен быть оценен сеанс, фиксируется в договоре. Обычно в этом случае речь идет о ручной работе проктора.

Правила проведения: что делает респондент

Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:

• респондента должно быть хорошо видно;
• он должен находиться в кадре один;
• в помещении должно быть тихо (без посторонних звуков и шумов);
• сеанс не должен прерываться на длительное время;
• нельзя пользоваться сторонними материалами на физическом или электронном носителе (книги, справочники, поисковики и т.д.).

Прокторинг в подборе и оценке персонала

Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.

HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.

Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.

Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».

Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.

Интеграция системы тестирования Maintest и прокторинга

Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.

Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.

На что мы обращаем особое внимание при осуществлении интеграции

1. Бесшовная интеграция.Чтобы не нарушать привычный нашим пользователям сценарий оценочного процесса, все пункты меню и сообщения от системы наблюдения появляются внутри тестового плеера, не нарушая целостность процедуры тестирования.
2. Защита данных. Передача данных между системами происходит по криптозащищенным протоколам. Это исключает возможность как внешнего влияния на сервис контроля, так и несанкционированного доступа к результатам тестирования.

В личном кабинете Maintest пользователь может управлять настройками прокторинга:

• Настроить сеанс:
  • выбрать его тип;
  • установить отслеживаемые параметры;
  • определить действия в случае низкого показателя доверия.

• Создать индивидуальное приглашение с сеансом прокторинга.
• Наблюдать за респондентом в режиме реального времени (если провайдер предоставляет такую возможность).
• Просматривать видеоролик с записью процесса тестирования и заключение системы на странице результатов. Процесс передачи данных в Maintest после окончания сеанса занимает не более 5 минут.
• Выгружать сведения о сеансах в формате xlsx (Excel).

Варианты подключения услуги

1. У вас есть договор с HT Lab на тестирование. Необходимо заключить Дополнительное соглашение на подключение услуги (провайдером в этом случае является ProctorEdu). Услуга подключается в штатном режиме в Личном Кабинете клиента Maintest Online, при оплате пакета от 50 часов.
2. У вас есть договор с провайдером услуг прокторинга. Подключение происходит через интеграцию Личного Кабинета Maintest Online с вашим аккаунтом в системе прокторинга. Услуга разовая, стоимость — от 50 000 руб., в зависимости от провайдера и дополнительных технических настроек.

Подробнее о подключении услуги ПРОКТОРИНГ.

Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.