На примерах учимся: тесты профессиональных знаний в компании «Связной»

Содержание

• ТОП-3 ДОПОЛНИТЕЛЬНЫХ ПРЕПЯТСТВИЙ
• ДУЭТ НАУКИ И ПРАКТИКИ: ВМЕСТО ЗАКЛЮЧЕНИЯ

Дарья Портнова, журнал "Корпоративные университеты", №51, 2014

На примерах учимся: тесты профессиональных знаний в компании «Связной»

В 2012 году Учебным центром управления розницей группы компаний «Связной» был инициирован проект, призванный повысить качество ежеквартальной оценки сотрудников всех категорий: менеджеров по продажам, менеджеров по продажам финансовых продуктов, руководителей торговых точек. Исторически данная процедура основывалась на проведении квалификационного тестирования, перед которым стояли две задачи:

1. Повышение «мотивации знать».
2. Мониторинг качества знаний.

Достижение порогового балла по тесту позволяло сотруднику получить бонус — дополнительную прибавку к окладу, помимо премии, процентов с продаж и иных неденежных форм поощрения. А его непосредственный руководитель имел возможность понять, насколько тот отвечает требованиям должности и в каких именно вопросах демонстрирует неосведомлённость.

При этом проведение тестирования носило сугубо рекомендательный характер: инициатива могла исходить как от самого сотрудника — и в этом случае его желание удовлетворялось, так и от руководителя, который хотел составить полную картину и брался протестировать всех своих подопечных.

«Лучшие из лучших» по результатам теста получали заветный бонус, а «лучшие из худших» и даже «худшие из худших» его не получали и никаких других негативных для себя последствий не имели, попутно не всегда выражая стремления подтянуться — то есть повысить уровень собственной квалификации. Первая задача, таким образом, на должном уровне не решалась.

Вопросы теста для, например, менеджеров по продажам и менеджеров по продажам финансовых продуктов прямо и непосредственно касались продуктов и услуг компании, а значит, были подвержены постоянным и вполне стремительным содержательным изменениям, характерным для ритейла. То есть быстро устаревали и, как следствие, упрощались, не позволяя «звёздам» показать свой реальный — а именно высокий — уровень знаний, другим — быть пойманными с поличным на незнании основополагающих вещей. С вопросами теста для руководителей дела обстояли несколько оптимистичнее, но как раз только и исключительно по содержанию этих вопросов. Экспертная группа авторов заданий включала в свой состав бывших сотрудников розницы, которым были отлично знакомы продукты и услуги компании, а также технологические процессы внутри неё, но для которых оставалось загадкой функционирование теста как измерительного инструмента и отделение зёрен от плевел среди тестовых заданий с точки зрения их трудности для участников оценки. В общем, удовлетворительное решение второй задачи также находилось под непреходящей угрозой.

Сложившаяся ситуация побудила специалистов Учебного центра управления розницей обратиться в Лабораторию «Гуманитарные Технологии» с запросом на проведение корпоративного семинара по конструированию тестов знаний (или квалификационных тестов) для 11 экспертов компании «Связной», отвечающих за разработку вопросов.

Семинар по конструированию тестов знаний позволяет воссоздать авторский и экспертный циклы при написании вопросов в любой предметной области и всегда включает в себя теоретический блок, в ходе которого слушатели знакомятся с основными положениями науки и искусства — написания тестовых вопросов (item writing), а также практический блок, в свою очередь подразделяющийся на четыре этапа:

1. Формирование первичного банка заданий.
2. Экспертный отбор заданий.
3. Пилотное тестирование.
4. Анализ полученных данных с целью совершенствования итогового банка заданий.

Подробное изложение содержания каждого из этапов, а также технологических особенностей их реализации в системе онлайн-сервисов HT-LINE выходит за рамки данной статьи. Поэтому остановимся на тех трансформациях базы вопросов Учебного центра компании «Связной», которые стали возможны, благодаря участию авторов-экспертов в семинаре, снабдивших их методическими справками. Итак, после прохождения обучения были внедрены и констатированы следующие изменения:

1. Появление новых типов вопросов. Ранее задания преимущественно писались по шаблону «Что? Где? Когда?» — то есть фактологические вопросы пользовались явным преимуществом, незаслуженно ущемляя в правах все остальные. Пройдя обучение, эксперты ознакомились с десятками новых типов заданий и отработали навык создания оригинальных формулировок в соответствии с ними.

   Методическая справка. Даже простая классификация вопросов по вопросительным местоимениям включает в себя минимум десять типов:

   1. Фактологические вопросы – Что? Где? Когда?
   2. Персонологические вопросы – Кто? Кому?
   3. Количественные вопросы – Сколько?
   4. Причинно-следственные вопросы – Почему? Что следует из …?
   5. Целевые вопросы – Зачем? С какой целью?
   6. Структурные вопросы – Из чего состоит?
   7. Инструментальные вопросы – Как? Каким образом?
   8. Обстоятельственные вопросы – При каких условиях?
   9. Словарно-концептуальные вопросы – Как называется? Что означает термин …?
   10. Процедурные вопросы – В какой последовательности?

   Если добавить сюда отдельную логико-семантическую классификацию тестовых заданий, которая лишь отчасти пересекается с приведённой, а также текстологические, кейсовые вопросы и вопросы с контекстной вставкой (заполнением пропусков) в их многочисленных вариациях, то приходится признать, что инструментальный багаж эксперта по окончании семинара становится очень и очень увесист.

2. Увеличение базы вопросов. Расширенный банк заданий для двух категорий сотрудников по количеству вопросов увеличился приблизительно вдвое: к концу проекта их насчитывалось около 1000 (против начальных 500-800) с учётом отсева 15% заданий, признанных некачественными — слишком лёгкими или слишком трудными. При этом под лёгкими традиционно понимаются те вопросы, на которые отвечает правильно более 70% респондентов, средними — от 40 до 70%, трудными — менее 40%.

   Внутренняя система дистанционного обучения в «Связном» позволяла произвести автоматизированный подсчёт количества правильных и неправильных ответов по каждому из заданий теста и сбалансировать базу в аспекте оптимальной трудности вопросов, однако не давала возможности рассчитать по ним коэффициенты дискриминативности. На семинаре это делается обязательно, а в реальности, как видим, получается не всегда даже при наличии желания.

   Методическая справка. Одним из главных показателей качества отдельного вопроса теста (N) является коэффициент дискриминативности. В системе HT-LINE после осуществления пилотного запуска теста и накопления некоторого количества результатов он выводится автоматически по каждому из заданий, однако для демонстрации его сути приведем последовательность необходимых вычислений, построив четырёхклеточную таблицу:

   	«Высокая группа»	«Низкая группа»
   Верный ответ на вопрос N	A	B
   Неверный ответ на вопрос N	C	D

   Пояснение:

   • «Высокая группа» – подмножество респондентов, выполнивших весь тест лучше 70% остальных участников.
   • «Низкая группа» – подмножество респондентов, выполнивших весь тест хуже 70% остальных участников.
   • А – число испытуемых из «высокой группы», давших правильный ответ на вопрос N.
   • В – число испытуемых из «низкой группы», давших правильный ответ на вопрос N.

   Формула коэффициента дискриминативности:

   
   

   Удачные задания имеют коэффициент дискриминативности выше 0,3 (при наличии не менее 20 человек в каждой из крайних групп).

   Неудачные задания имеют коэффициент дискриминативности, близкий к нулю.

3. Объективизация результатов тестирования. Результаты по тесту стали более справедливыми и пришли в соответствие с квалификацией продавцов, менеджеров по продажам финансовых продуктов и руководителей торговых точек. Так, ранее получавшие хороший результат при реально невысокой осведомлённости сотрудники начали демонстрировать уровень «средне» и «ниже среднего», а квалифицированные специалисты подтвердили былой успех и показывали как хорошие, так и отличные результаты.

   Примечательно, что после коррекции базы вопросов количество бонусных выплат сотрудникам магазинов незначительно снизилось, и, в силу этого, было принято решение о внесении изменений в систему мотивации — был инициирован поиск иных дополнительных способов стимулирования и поощрения менеджеров по продажам и менеждеров по продажам финансовых продуктов. Благо, мотивационные программы в группе компаний «Связной» разнообразны и гибки, будучи организованными по принципу «кафетерия бенефитов» (подробнее — на карьерном портале www.job.svyaznoy.ru).

ТОП-3 ДОПОЛНИТЕЛЬНЫХ ПРЕПЯТСТВИЙ

Далее — хит-парад вопросов и трудностей, с которыми придется столкнуться (почти) каждому напути обучения конструированию квалификационных тестов и которые возникли у авторов-экспертов из компании «Связной» в ходе семинара и после него:

1. «Почему мои вопросы плохо работают?»: даже при наличии обратной связи от ведущего семинара и большого количества реальных цифр к подлинному пониманию прийти непросто — при отсутствии соответствующего опыта трудность собственных заданий систематически недооценивается или переоценивается, не говоря уже об адекватной оценке их «разделительной способности» (дискриминативности);
2. «Как написать хороший дистрактор?»: формулировка вопроса сама по себе важна, однако помимо правильного варианта ответа на него автору-эксперту приходится писать 3—4 неправильных (именно они называются дистракторами), причём в идеале каждый должен быть достаточно убедителен, чтобы побудить неинформированного респондента выбрать его в качестве верного — проще говоря, правильный вариант ответа не должен бросаться в глаза, и необходимо усвоить средства его маскировки;
3. «Что мешает довести коммуникации до конца?»: здесь речь идет о процессах коммуникации в организации как таковой, где помехи случаются самого разного свойства. В случае «Связного» оказалась непрозрачной связь между содержанием постоянно дорабатываемых программ обучения и, собственно, вопросов в базе — обновляющихся, конечно, но с очевидными и неизбежными запаздываниями.

ДУЭТ НАУКИ И ПРАКТИКИ: ВМЕСТО ЗАКЛЮЧЕНИЯ

Кейс компании «Связной», несмотря на все камни преткновения, характерные для разветвленной организационной структуры с определённым запасом прочности по отношению к изменениям, является редким образчиком единства науки и практики в разработке и проведении квалификационного тестирования. Описанная последовательность действий специалистов Учебного центра отвечает пяти стандартным принципам создания профессиональных контрольных материалов и методик (по Болотову В.А. и Шмелеву А.Г.):

1. оптимальной структуры экзамена с точки зрения трудности заданий, их количества в рамках одного теста и продолжительности процедуры оценки;
2. апробации отдельных заданий в ходе мини-эксперимента, который позволяет производить статистический анализ полученных результатов;
3. распределения баллов, предполагающего соответствие разделения результатов респондентов на группы «лучших» и «худших» реальной статистической конфигурации распределения тестовых баллов;
4. аттестации авторов и экспертов, участвующих в создании и экспертном оценивании заданий только после прохождения специального обучения (именно это является итогом семинара по конструированию тестов знаний);
5. компромиссного формирования нормативов, согласно которому принятие управленческих решений (в том числе о выплате бонуса или о его отсутствии) должно базироваться на разумном сочетании требований к сотрудникам с реальными результатами теста.