Тест для "продажников" - история валидизации

Можно ли с помощью теста оценить пригодность менеджера по продажам? Можно ли на основании результатов тестирования дать адекватный прогноз – будет ли такой человек успешен в будущем? Может ли тест нам сказать – этот кандидат или сотрудник готов к работе в продажах, а этот – нет?

На все эти вопросы можно дать утвердительный ответ, если мы будем пользоваться методикой, специально созданной для оценки именно менеджеров по продажам. Такая методика также называется квалификационной, поскольку позволяет оценивать важные для определенной профессиональной категории качества. Но определить такие качества и сформулировать тестовые вопросы для их диагностики – это еще не все. Необходимо проверить работоспособность теста, то есть доказать, что данный тест действительно способен отличать реально успешных продавцов от их менее успешных коллег. Другими словами, необходимо измерить внешнюю валидность теста как способность измерять именно то, что нам нужно, а не что–то иное.

Методика «ТЕМП-sales» была разработана в Лаборатории специально для диагностики тех качеств, знаний и навыков, которые необходимы для большинства менеджеров по продажам. Состоит методика из следующих шкал:

1. Пригодность – интегральный показатель, отражающий в целом пригодность к работе в продажах - рассчитывается исходя из результатов по другим шкалам;

2. Уверенность – уверенность в себе, контактность, активность, способность добиться своего.

3. Тактическая гибкость – деловая хитрость и смекалка, умение скрывать истинные намерения, отсутствие комплекса излишней совестливости и стыдливости;

4. Логический интеллект – эрудиция и аналитические способности;

5. Устный счет – счет в уме, математический интеллект;

6. Техника продаж - точность психологической интуиции, знание и учет норм делового общения;

7. Английский язык - наличие элементарного уровня знаний в области лексики и грамматики английского языка;

8. Компьютер - владение базовыми понятиями и умениями в области компьютерной грамотности;

9. Маркетинг - владение базовыми понятиями и представлениями о структуре и функционировании рынка, основ рекламы и механизмах продажи;

10. Достоверность ответов - степень искренности при ответе на вопросы теста.

Большинство шкал данной методики (1-6) являются универсальными для многих категорий менеджеров по продажам. Шкалы 7-9 носят скорее специфический характер, так как не во всех продажах требуется знание английского, основ маркетинга или навыки использования компьютера. Но в ряде ситуаций они все же нужны. Любопытно, что в нашем исследовании оказалось, что именно знание английского языка оказалось одним из решающих факторов, влияющих на успешность продавцов в той организации, с которой мы сотрудничали.

В исследовании приняла участие крупная российская компания, клиент Лаборатории. Менеджеры по продажам данной организации работали в условиях активно-пассивных продаж (они инициировали контакт с клиентом и поддерживали его в дальнейшем). Продавцы предлагали клиентам ряд услуг компании, при этом продукт являлся довольно сложным, так как услуги имели множество вариантов тарификации в зависимости от различных условий предоставления. Наше исследование носило не теоретический характер, а было связано с решением конкретной проблемы. Компания активно развивалась и испытывала растущую потребность в пополнении штата продавцов, особенно в регионах. Для отбора кандидатов был предложен к использованию тест «ТЕМП-sales». Но, перед тем как использовать данную методику, нужно было выяснить, что же отличает успешных продавцов, какие качества и знания позволяют им работать лучше других?

Для этого были сформированы рейтинги сотрудников отдельно взятого отдела продаж по результатам круговой оценки сотрудниками друг друга. Оценка велась как по критериям результативности в работе, так и по ряду компетенций, важных для менеджеров по продажам. В итоге каждому продавцу был присвоен свой балл от одного до девяти, где 1 – наивысший показатель, а 9 - самый низкий. После этого нами были отобраны две группы: группа успешных менеджеров по продажам с рейтингом от 1 до 3 в количестве 16 человек, и группа неэффективных продавцов – тоже 16 человек (рейтинг от 7 до 9). Выставленные рейтинги значимо коррелировали с оценками эффективности работы, которые были даны руководителями своим сотрудникам (p<0,01). Таким образом, у нас появился критерий, по которому мы могли судить об эффективности продавцов в реальной ситуации.

ЧТО ЖЕ ПОЛУЧИЛОСЬ В РЕЗУЛЬТАТЕ?

Все сотрудники данного отдела на равных условиях прошли тестирование по методике «ТЕМП-sales». Для выяснения валидности методики оставалось сравнить результаты тестирования в двух группах и выяснить, действительно ли тест позволяет отличать успешных продавцов, или он измеряет что-то другое.

#IMAGE_0#

Результаты исследования продемонстрировали, что успешные продавцы в целом набирают больший балл по тесту, чем неэффективные продавцы (рис 1). Другими словами, было показано, что высокий балл по тесту с определенной долей вероятности позволяет прогнозировать будущую успешность человека на позиции менеджера по продажам. Соответственно, низкий балл говорит о возможной неготовности или непригодности к этой деятельности. Коэффициент значимости различий между группами составил p=0,09. Это немного больше, чем принятый в статистике коэффициент (0,05). Тем не менее, такой результат позволяет сказать, что выявленная нами закономерность будет верна в 91 случае из 100.

Тем не менее, нами были получены статистически значимые отличия между выделенными группами по двум шкалам теста. Этими шкалами оказались «тактическая гибкость» и «английский» (рис 2.). Уровень значимости этих различий составил p<0,05, что указывает на то, что в нашей выборке действительно успешные продажники отличались от неэффективных по этим двух критериям, т.е. были более гибкими и лучше владели языком. Почему именно английский оказался ключевым параметром отличий? Возможно, это было связано со спецификой продаж, где знание иностранного языка было важной оставляющей успеха. Может быть и другое объяснение: люди, владеющие языком, в целом имели более высокий уровень коммуникативной грамотности и вербального развития, чем те, кто им владел хуже. Поэтому в ситуации активного общения с клиентом они оказывались более эффективными. Данные шкалы были рекомендованы как ключевые критерии для отбора новых продавцов, с оглядкой на то, что специфика продаж в регионах не будет сильно отличаться от той, которая была проанализирована в исследовании.

#IMAGE_1#

Также выделился еще ряд параметров, по которым успешные превосходили группу аутсайдеров, правда, с меньшим коэффициентом значимости. В них вошли шкалы интеллектуальных способностей («логический интеллект», «устный счет» - рис 3), а также шкала «общей пригодности» и знания «маркетинга» (рис 4). Данные шкалы также были рекомендованы для использования при формировании штата продавцов в регионе.

#IMAGE_2#

#IMAGE_3#

Результаты по шкалам «знание компьютера» и «техника продаж» в двух группах оказались практически на одном уровне. Это означало, что на эффективность исследуемых нами менеджеров по продажам данные знания и навыки не оказывают никакого влияния (рис 5).

#IMAGE_4#

#IMAGE_5#

Встретились в нашем исследовании и интересные артефакты. Оказалось, что группа неэффективных продавцов набирает большие баллы по шкалам «уверенность» и «достоверность», чем группа успешных. То есть в целом они демонстрируют в процессе тестирования большую уверенность в себе и искренность, а группа успешных показывает себя как менее уверенных в своих силах и более закрытых, социально желательных (рис 6). Мы не раз сталкивались с подобными результатами, когда успешные «продажники» дают на тест более социально-желательные ответы, приукрашивая себя, завышая тем самым себе баллы по некоторым важным шкалам. Тест отлавливает такие тенденции и выдает в подобном случае низкие результаты по шкале искренность-достоверность. Мы объясняем это тем, что успешные продавцы гораздо лучше и быстрее понимают требования, которые к ним предъявляются (понимают, какими им нужно быть), подстраиваются под принятые «правила игры» и легко принимают на себя нужную социальную роль, демонстрируя необходимые качества. Такая их способность обеспечивает необходимую гибкость в общении с клиентами.

Что касается «уверенности», то дать здесь однозначное объяснение достаточно сложно. Ведь для того, чтобы продать товар или услугу, менеджер должен быть уверен в себе. Возможно, неэффективные сотрудники набирали высокий балл из неких «компенсаторных» механизмов, стремясь закамуфлировать свою реальную неуверенность. Но против этого предположения говорит то обстоятельство, что все-таки они были более искренними. Скорее всего, данная закономерность объясняется тем, что успешные продавцы действительно менее уверены в себе (важное дополнение: менее, но в пределах нормы, т.е. проявляя необходимую адекватность) и именно поэтому готовы были в ситуации конфликта идти на компромисс, предлагать уступки и тем самым продолжать ценный контакт с клиентом. В то время как излишняя (выше нормы) уверенность в себе в сложных коммуникативных ситуациях может делать человека излишне жестким и принципиальным, не чутким к потребностям собеседника. Такие качества могут отрицательно сказаться на контакте с клиентом, особенно в ситуации продаж относительно сложных и дорогостоящих услуг и товаров. Возможно и другое объяснение: в целом более низкая уверенность продавцов из первой группы заставляла их компенсировать ее высокими результатами своей работы, что они с успехом и осуществляли.

Тем не менее, причина была признана неоднозначной, и данные шкалы были исключены из критериев для подбора как неинформативные для данной выборки.

ПОДВОДЯ ИТОГИ

Вернемся к вопросам, заданным в начале статьи. Какие выводы можно сделать, исходя из полученных в ходе исследований результатов? В целом, можно утверждать, что методика «ТЕМП-sales» действительно валидна для использования в ситуациях подбора, оценки, подтверждения квалификации менеджеров по продажам. Она действительно позволяет определять людей, которые добиваются успеха в продажах, и отсеивать тех, кто будет менее успешен. Необходимо только отметить ряд важных деталей.

В нашем исследовании были затронуты сотрудники только одной компании, со своей спецификой продаж. Возможно, в других компаниях и других ситуациях были бы выделены несколько другие критерии успешности и другие закономерности распределения результатов между группами. Поэтому при использовании данного теста в других ситуациях желательно проводить аналогичные исследования для отбора наиболее существенных шкал теста, которые и будут использоваться для принятия кадровых решений о кандидате. Но, тем не менее, можно утверждать, что неким базовым набором диагностических критериев (шкал) методика ТЕМП-sales обладает.

В пользу того, что тест будет работать в других ситуациях, говорят достаточно высокие показатели по внутренней надежности – согласованности методики, рассчитанные как коэффициент Альфа Кронбаха. Этот метод позволяет вычислить устойчивость теста относительно каких-либо случайных искажений и направленность на измерение одного и того же качества или свойства. Надежность теста составляет в среднем 0,62 по всем шкалам. Данный показатель особенно значим, если учесть, что тест состоит в основном из интеллектуальных и кейсовых шкал, для которых значения надежности редко поднимаются до высокого уровня (табл. 1).

Таблица 1. Значения коэффициента Альфа Кронбаха (внутренней надежности – согласованности) для каждой шкалы теста. Чем выше коэффициент, тем сбалансинованнее работают вопросы на шкалы теста, тем больше тест защищен от случайных искажений.