Дарья Портнова
Дарья Портнова
Специалист отдела исследований и разработок
17.02.2015 Время чтения: 7 минут

На примерах учимся: тесты профессиональных знаний в компании «Связной»

Содержание

Дарья Портнова, журнал "Корпоративные университеты", №51, 2014

На примерах учимся: тесты профессиональных знаний в компании «Связной»

Квалификационное тестирование в оценке персонала распространено чрезвычайно широко и продолжает набирать обороты: практически у каждой крупной компании, ведущей массовый подбор, есть «свой тест», на основе результатов которого порой принимаются сакраментальные по значимости кадровые решения. Но одно дело оценить кандидата или сотрудника при помощи теста, другое — оценить сам тест и принять более или менее срочные меры по его спасению от некачественных заданий. В системе образования действительную измерительную способность тестов проверяют часто, в бизнесе — никогда. За редчайшими исключениями.

Один из безупречно грамотных кейсов в данной сфере принадлежит компании «Связной», эксперты которой прошли обучение на эксклюзивном семинаре Лаборатории «Гуманитарные Технологии» по конструированию тестов знаний в 2012 году и отнюдь на этом не остановились: внедрили изменения и продолжили шлифовку навыков item writing на новом уровне. Ни одна передовая практика, однако, без подводных камней и препятствий не обходится.

Об этом — в тексте статьи, написанном на основе беседы с Дмитрием Шлыковым, занимавшим пост начальника Отдела обучения и разработки учебных программ в компании «Связной» в 2012 году.

В 2012 году Учебным центром управления розницей группы компаний «Связной» был инициирован проект, призванный повысить качество ежеквартальной оценки сотрудников всех категорий: менеджеров по продажам, менеджеров по продажам финансовых продуктов, руководителей торговых точек. Исторически данная процедура основывалась на проведении квалификационного тестирования, перед которым стояли две задачи:

  1. Повышение «мотивации знать».
  2. Мониторинг качества знаний.

Достижение порогового балла по тесту позволяло сотруднику получить бонус — дополнительную прибавку к окладу, помимо премии, процентов с продаж и иных неденежных форм поощрения. А его непосредственный руководитель имел возможность понять, насколько тот отвечает требованиям должности и в каких именно вопросах демонстрирует неосведомлённость.

При этом проведение тестирования носило сугубо рекомендательный характер: инициатива могла исходить как от самого сотрудника — и в этом случае его желание удовлетворялось, так и от руководителя, который хотел составить полную картину и брался протестировать всех своих подопечных.

«Лучшие из лучших» по результатам теста получали заветный бонус, а «лучшие из худших» и даже «худшие из худших» его не получали и никаких других негативных для себя последствий не имели, попутно не всегда выражая стремления подтянуться — то есть повысить уровень собственной квалификации. Первая задача, таким образом, на должном уровне не решалась.

Вопросы теста для, например, менеджеров по продажам и менеджеров по продажам финансовых продуктов прямо и непосредственно касались продуктов и услуг компании, а значит, были подвержены постоянным и вполне стремительным содержательным изменениям, характерным для ритейла. То есть быстро устаревали и, как следствие, упрощались, не позволяя «звёздам» показать свой реальный — а именно высокий — уровень знаний, другим — быть пойманными с поличным на незнании основополагающих вещей. С вопросами теста для руководителей дела обстояли несколько оптимистичнее, но как раз только и исключительно по содержанию этих вопросов. Экспертная группа авторов заданий включала в свой состав бывших сотрудников розницы, которым были отлично знакомы продукты и услуги компании, а также технологические процессы внутри неё, но для которых оставалось загадкой функционирование теста как измерительного инструмента и отделение зёрен от плевел среди тестовых заданий с точки зрения их трудности для участников оценки. В общем, удовлетворительное решение второй задачи также находилось под непреходящей угрозой.

Сложившаяся ситуация побудила специалистов Учебного центра управления розницей обратиться в Лабораторию «Гуманитарные Технологии» с запросом на проведение корпоративного семинара по конструированию тестов знаний (или квалификационных тестов) для 11 экспертов компании «Связной», отвечающих за разработку вопросов.

«Связной» (ЗАО «Связной Логистика») — крупнейший в России мультиканальный ритейлер федерального масштаба — начал свою работу в России в 1995 году. На сегодняшний день открыт 3341 магазин «Связной» на территории России, которые ежедневно посещают более 1,7 млн человек. В 2013 году «Связной» вошёл в рейтинг 400 крупнейших компаний России по объему реализации продукции, подготовленный рейтинговым агентством «Эксперт». Входит в топ-40 лучших брендов России по оценке консалтингового агентства «Interbrand» (информация с официального сайта www.svyaznoy.ru).

Семинар по конструированию тестов знаний позволяет воссоздать авторский и экспертный циклы при написании вопросов в любой предметной области и всегда включает в себя теоретический блок, в ходе которого слушатели знакомятся с основными положениями науки и искусства — написания тестовых вопросов (item writing), а также практический блок, в свою очередь подразделяющийся на четыре этапа:

  1. Формирование первичного банка заданий.
  2. Экспертный отбор заданий.
  3. Пилотное тестирование.
  4. Анализ полученных данных с целью совершенствования итогового банка заданий.
Подробное изложение содержания каждого из этапов, а также технологических особенностей их реализации в системе онлайн-сервисов HT-LINE выходит за рамки данной статьи. Поэтому остановимся на тех трансформациях базы вопросов Учебного центра компании «Связной», которые стали возможны, благодаря участию авторов-экспертов в семинаре, снабдивших их методическими справками. Итак, после прохождения обучения были внедрены и констатированы следующие изменения:
  1. Появление новых типов вопросов. Ранее задания преимущественно писались по шаблону «Что? Где? Когда?» — то есть фактологические вопросы пользовались явным преимуществом, незаслуженно ущемляя в правах все остальные. Пройдя обучение, эксперты ознакомились с десятками новых типов заданий и отработали навык создания оригинальных формулировок в соответствии с ними.

    Методическая справка. Даже простая классификация вопросов по вопросительным местоимениям включает в себя минимум десять типов:

    1. Фактологические вопросы – Что? Где? Когда?
    2. Персонологические вопросы – Кто? Кому?
    3. Количественные вопросы – Сколько?
    4. Причинно-следственные вопросы – Почему? Что следует из …?
    5. Целевые вопросы – Зачем? С какой целью?
    6. Структурные вопросы – Из чего состоит?
    7. Инструментальные вопросы – Как? Каким образом?
    8. Обстоятельственные вопросы – При каких условиях?
    9. Словарно-концептуальные вопросы – Как называется? Что означает термин …?
    10. Процедурные вопросы – В какой последовательности?
    Если добавить сюда отдельную логико-семантическую классификацию тестовых заданий, которая лишь отчасти пересекается с приведённой, а также текстологические, кейсовые вопросы и вопросы с контекстной вставкой (заполнением пропусков) в их многочисленных вариациях, то приходится признать, что инструментальный багаж эксперта по окончании семинара становится очень и очень увесист.
  2. Увеличение базы вопросов. Расширенный банк заданий для двух категорий сотрудников по количеству вопросов увеличился приблизительно вдвое: к концу проекта их насчитывалось около 1000 (против начальных 500-800) с учётом отсева 15% заданий, признанных некачественными — слишком лёгкими или слишком трудными. При этом под лёгкими традиционно понимаются те вопросы, на которые отвечает правильно более 70% респондентов, средними — от 40 до 70%, трудными — менее 40%.

    Внутренняя система дистанционного обучения в «Связном» позволяла произвести автоматизированный подсчёт количества правильных и неправильных ответов по каждому из заданий теста и сбалансировать базу в аспекте оптимальной трудности вопросов, однако не давала возможности рассчитать по ним коэффициенты дискриминативности. На семинаре это делается обязательно, а в реальности, как видим, получается не всегда даже при наличии желания.

    Методическая справка. Одним из главных показателей качества отдельного вопроса теста (N) является коэффициент дискриминативности. В системе HT-LINE после осуществления пилотного запуска теста и накопления некоторого количества результатов он выводится автоматически по каждому из заданий, однако для демонстрации его сути приведем последовательность необходимых вычислений, построив четырёхклеточную таблицу:

    «Высокая группа» «Низкая группа»
    Верный ответ на вопрос N A B
    Неверный ответ на вопрос N C D

    Пояснение:

    • «Высокая группа» – подмножество респондентов, выполнивших весь тест лучше 70% остальных участников.
    • «Низкая группа» – подмножество респондентов, выполнивших весь тест хуже 70% остальных участников.
    • А – число испытуемых из «высокой группы», давших правильный ответ на вопрос N.
    • В – число испытуемых из «низкой группы», давших правильный ответ на вопрос N.

    Формула коэффициента дискриминативности:

    На примерах учимся: тесты профессиональных знаний в компании «Связной»

    Удачные задания имеют коэффициент дискриминативности выше 0,3 (при наличии не менее 20 человек в каждой из крайних групп).

    Неудачные задания имеют коэффициент дискриминативности, близкий к нулю.

  3. Объективизация результатов тестирования. Результаты по тесту стали более справедливыми и пришли в соответствие с квалификацией продавцов, менеджеров по продажам финансовых продуктов и руководителей торговых точек. Так, ранее получавшие хороший результат при реально невысокой осведомлённости сотрудники начали демонстрировать уровень «средне» и «ниже среднего», а квалифицированные специалисты подтвердили былой успех и показывали как хорошие, так и отличные результаты.

    Примечательно, что после коррекции базы вопросов количество бонусных выплат сотрудникам магазинов незначительно снизилось, и, в силу этого, было принято решение о внесении изменений в систему мотивации — был инициирован поиск иных дополнительных способов стимулирования и поощрения менеджеров по продажам и менеждеров по продажам финансовых продуктов. Благо, мотивационные программы в группе компаний «Связной» разнообразны и гибки, будучи организованными по принципу «кафетерия бенефитов» (подробнее — на карьерном портале www.job.svyaznoy.ru).

ТОП-3 ДОПОЛНИТЕЛЬНЫХ ПРЕПЯТСТВИЙ

Далее — хит-парад вопросов и трудностей, с которыми придется столкнуться (почти) каждому напути обучения конструированию квалификационных тестов и которые возникли у авторов-экспертов из компании «Связной» в ходе семинара и после него:
  1. «Почему мои вопросы плохо работают?»: даже при наличии обратной связи от ведущего семинара и большого количества реальных цифр к подлинному пониманию прийти непросто — при отсутствии соответствующего опыта трудность собственных заданий систематически недооценивается или переоценивается, не говоря уже об адекватной оценке их «разделительной способности» (дискриминативности);
  2. «Как написать хороший дистрактор?»: формулировка вопроса сама по себе важна, однако помимо правильного варианта ответа на него автору-эксперту приходится писать 3—4 неправильных (именно они называются дистракторами), причём в идеале каждый должен быть достаточно убедителен, чтобы побудить неинформированного респондента выбрать его в качестве верного — проще говоря, правильный вариант ответа не должен бросаться в глаза, и необходимо усвоить средства его маскировки;
  3. «Что мешает довести коммуникации до конца?»: здесь речь идет о процессах коммуникации в организации как таковой, где помехи случаются самого разного свойства. В случае «Связного» оказалась непрозрачной связь между содержанием постоянно дорабатываемых программ обучения и, собственно, вопросов в базе — обновляющихся, конечно, но с очевидными и неизбежными запаздываниями.

ДУЭТ НАУКИ И ПРАКТИКИ: ВМЕСТО ЗАКЛЮЧЕНИЯ

Кейс компании «Связной», несмотря на все камни преткновения, характерные для разветвленной организационной структуры с определённым запасом прочности по отношению к изменениям, является редким образчиком единства науки и практики в разработке и проведении квалификационного тестирования. Описанная последовательность действий специалистов Учебного центра отвечает пяти стандартным принципам создания профессиональных контрольных материалов и методик (по Болотову В.А. и Шмелеву А.Г.):
  1. оптимальной структуры экзамена с точки зрения трудности заданий, их количества в рамках одного теста и продолжительности процедуры оценки;
  2. апробации отдельных заданий в ходе мини-эксперимента, который позволяет производить статистический анализ полученных результатов;
  3. распределения баллов, предполагающего соответствие разделения результатов респондентов на группы «лучших» и «худших» реальной статистической конфигурации распределения тестовых баллов;
  4. аттестации авторов и экспертов, участвующих в создании и экспертном оценивании заданий только после прохождения специального обучения (именно это является итогом семинара по конструированию тестов знаний);
  5. компромиссного формирования нормативов, согласно которому принятие управленческих решений (в том числе о выплате бонуса или о его отсутствии) должно базироваться на разумном сочетании требований к сотрудникам с реальными результатами теста.
0 комментариев
Написание комментария требует предварительной регистрации на сайте

Войти с помощью:

Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Комментариев пока нет, будьте первым
Хотите подобрать тест для оценки?

В нашем арсенале более 30 тестов оценки личностных, мотивационных особенностей, IQ, управленческого потенциала, рискованного поведения, самопознания и др.

Оставьте заявку на бесплатную консультацию специалиста!

Перейти в каталог тестов