Непопулярная тестология

О тестах, тестировании и психодиагностике написано так много, что, кажется, и добавить нечего. Особенно достается «популярным» развлекательным тестам из глянцевых женских журналов и Интернета, причем больше всего они огорчают, конечно, самих психологов.

А что такое «непопулярный», серьезный тест? Из чего он состоит? Как и где должен применяться? Как отличить развлекательные тесты от профессиональных?

Оказывается, ответы на эти вопросы не так очевидны, причем даже тем, кто не раз сталкивался с процедурой тестирования при приеме на работу, получении водительских прав или, например, в психологической консультации.

На наши вопросы отвечает Александр Георгиевич Шмелев, доктор психологических наук, профессор, 25 лет преподающий курс «Основы психодиагностики» студентам факультета психологии МГУ, научный руководитель лаборатории Human Technologies.

Тест – краткое испытание, результат которого выражен в количественной форме и показывает уровень выраженности каких-то измеряемых психических свойств. Это могут быть и черты, и способности, и состояния, широко объединяемые термином «психические свойства».

При этом не все психодиагностические процедуры следует считать тестовыми, хотя бы потому, что не все испытания являются краткими. Существуют полевые эксперименты, которые, как говорили классики психологического эксперимента, «дублируют реальный мир», и наблюдения за ними также дают некую прогностичную психодиагностическую информацию. Яркий пример таких испытаний – деловые игры. Тестовыми их назвать сложно, потому что они трудоемки организационно и занимают несколько часов, а то и дней.

Что мы имеем в виду под краткостью? Длительность процедуры – в пределах часа. Если тестов несколько – до двух часов за один сеанс, не более.

Психологический тест, как правило, состоит из набора отдельных заданий, которые дают очки и образуют в сумме очков какую-то шкалу. Как дальше действовать с этой шкалой – вопрос уже такой науки как психометрика, науки о психологических измерениях. И, если не понимать основ этой науки, которые очень тесно сопряжены со статистикой, очень трудно разбираться в тестах кроме как в рецептурном ключе.

Тестология и психодиагностика – две пересекающихся научных области. В их пересечении как раз и лежит психологическое тестирование. Не все психодиагностические методы являются тестовыми, и не все тестологические методы являются психологическими, потому что с помощью тестов, например, можно измерять профессиональные знания. Например, квалификационные тесты – НЕ психологические, потому что предметом измерений является не психическое свойство, а, например, «подготовленность человека к совершению какой-то деятельности». Способность к этой деятельности тоже может быть выражена в «шкальных оценках» и отражать уровень компетентности, например, в бухгалтерских операциях или каких-то юридических вопросах.

Образовательные тесты (яркий пример – Единый государственный экзамен для выпускников) принято отделять от квалификационных, потому что они говорят не об уровне компетентности, подготовленности к какой-то практической деятельности, а скорее об уровне ознакомленности с какой-то достаточно широкой научной дисциплиной – на элементарной школьном уровне или вузовском. Образовательное тестирование – пример НЕпсихологического тестирования, так как числом выражается знание или умение решать какие-то задачи в определенной научной области, и его результаты не несут информации о психическом свойстве, о способности или какой-то черте личности - черте характера или темперамента, или о выраженности какого-то мотива (потребности).

Вообще, если говорить о классификации тестов, то можно выделить, как минимум, три основания для классификаций, причем все они тесно связаны друг с другом. Например, в работе кадрового менеджера, занимающегося оценкой персонала, в одной программе обследования может использоваться несколько типов тестов.

Мы часто делаем акцент в рекомендациях HR-специалистам: не сводить процесс тестирования только к тестированию психологическому – это неправильно! И, если встает вопрос о «весе» квалификационных тестов в прогностичности целой батареи, которая содержит и психологические, и квалификационные тесты, то это – более 50 %. В этом случае прогноз успешности тестируемых в будущей деятельности будет более точен.

Мы можем говорить отдельно о таком классе методик как профориентационные тесты.

Их не стоит смешивать с тестами на профпригодность. В первом случае для одного человека ранжируют несколько профессий, во втором – для одной профессии (должностной позиции) ранжируют несколько людей-кандинатов.

Но и в случае тестирования профпригодности также существуют и психологические, и непсихологические тесты. Например, тесты на функциональное состояние часто более близки к физиологическим в силу того, что медико-физиологические компоненты тесно сопряжены с психологическими и являются полезными с точки зрения углубления в биологические основы жизнедеятельности человека. Это особенно важно для профессий, предъявляющих особые требования к организму человека (например, к вестибулярному аппарату у летчиков, к объему легких у водолазов и т.п.).

В своих лекциях курса «Основы психодиагностики» я уже 25 лет использую два основания классификации. По предмету, то есть по типу психических свойств, и по технологии использования. Причем эти основания распространяются не только на тесты, но и на психодиагностические методики. Например, тесты, направленные на общие способности, такие, допустим как IQ (интеллект), который часто трактуют просто как темп умственной деятельности в освоении и выполнении каких-то новых знаковых операций и переработке информации. Или такое свойство как черты характера, которые проявляются в общении (коммуникативном стиле). То есть тесты мы можем типологизировать по предмету, по той психологической информации, которую они дают, по типу психических свойств, на которые они направлены.

С другой стороны, в разных тестах могут применяться разные технологические приемы. Говорят о тестах такого наиболее традиционного измерительного типа как, например, выбор из заданного списка, т.е. множественный выбор. Есть там еще и внутренняя классификация, например, тесты, основанные на процедуре шкалирования. Например, цветовые предпочтения, субъективные предпочтения одного цвета другому. Это общеизвестный тест Люшера или тест Сонди. Или малоформализованная структура данных в проективных методиках, которые тестами можно назвать условно, с некоторой натяжкой. Хотя, казалось бы, критерии похожи: это краткое испытание, и часто в числовой форме выраженный результат. Но в середину встраивается процесс экспертных оценок, который невозможно алгоритмизировать так, чтобы его мог выполнить компьютер. Именно люди интерпретируют рисунки, тексты или ассоциации, следуя некоторым более-менее размытым инструкциям. Так что «проективные методики» более корректно говорить чем «проективные тесты».

Всего сейчас принято выделять в этой классификации – по технологии тестирования – четыре категории тестов: физиологические тесты, объективные тесты, опросники и шкалирование.

Важно подчеркнуть, что одно и то же свойство не только можно, но и НУЖНО диагностировать тестами разным типов. Это повышает валидность (истинность, обоснованность) информации.

Тест – это инструмент, и как любой инструмент должен использоваться по назначению. Если телефонной трубкой начинаешь забивать гвозди – получается не очень удачный результат: и трубка разбивается, и гвозди в стену не залезают. С тестами ситуация менее тривиальная. Поэтому и ошибки здесь бывают более радикальными.

Нередко люди применяют тест по принципу: ну, вот это хороший, известный, надежный тест. А измеряет ли тест то свойство, которое существенно в данной ситуации? Может быть, это свойство и не имеет такого статуса в деятельности данного конкретного профессионала, не является «профессионально важным качеством»?

В свое время, в связи с высокой аварийностью на дорогах, проводили исследования среди таксистов на стрессоустойчивость. Проверялась гипотеза о том, что люди с сильным типом нервной системы совершают меньше аварий. Результаты оказались парадоксальными: таксисты с более сильной нервной системой попадают в ДТП чаще, а более высокий уровень тревожности у таксистов со слабой нервной системой ведет к большей надежности в работе. Вот такая казалось бы поверхностно правдоподобная гипотеза при исследовательской работе являет обратный результат. И проводить отбор следует на основе противоположного полюса того же самого профессионально важного качества (измерительной тестовой шкалы).

Сплошь и рядом из-за таких неочевидных здравому смыслу связей между психическими свойствами и эффективностью той или иной деятельности совершаются ошибки при выборе тестов. Поэтому и само тестирование часто начинает восприниматься людьми как такая малообоснованная дубинка, фильтр, который одних ставит в какое-то более привилегированное положение, чем других, получивших более низкие баллы.

В этом смысле достаточно сложной оказывается судьба тестологии в тех областях, где за дело берутся дилетанты. Они хватают какие-то инструменты и применяют их не по назначению.

Самые грубые ошибки, причем в массовом масштабе, встречаются сегодня при решении задач профотбора. Нарушается масса условий, при которых применение тестов оправдано и является в профессиональном и этическом смысле корректным.

Например, тесты применяются в ситуации, когда не из кого выбирать. Нет большого количества заявок, и в этом смысле натяжкой является сама процедура. Или, наоборот – избыточное доверие к тесту и его результату. Тест – всего лишь один из источников информации, наряду с другими – беседой, биографическими данными, документами, наблюдениями и так далее. Наконец, самый информативный «тест» на профпригодность – испытательный срок.

Но это не значит, что тестирования вообще нужно избегать. Увы, умеренное понимание веса тестов в совокупной оценке перспективности того или иного кандидата – пока не присуще, не стало еще общей культурой российских HR-менеджеров и специалистов по кадрам: либо все, либо ничего. Это неправильно. Место тестов может достигать разумных 20-30% в совокупной оценке различных источников информации. Разумеется, для разных специальностей этот процент может быть разным. В тех областях, где есть более жесткие ограничения и требования к пригодности или абсолютные ограничения (например, без упомянутого уже хорошего вестибулярного аппарата летчику трудно совершать фигуры высшего пилотажа) – тесты, диагностирующие уровень выраженности именно этих качеств и свойств, становятся основным фильтром для отбора, отсева.

Во многих же видах офисной работы, работы менеджеров разного уровня и профиля имеются такие широкие возможности для индивидуальных стилей и компенсирования качеств, являющихся в некотором смысле недостатками, что проводить «дискриминационное тестирование» просто неправильно. Такие ошибки в практике применения приводят к тому, что люди начинают воспринимать тест как оружие дискриминации.

В каком-то смысле тест и является оружием. Вопрос только – в каком? Часто он защищает интересы не столько самого тестируемого человека, но в основном – других людей, которые могут от него пострадать. Как в ситуации тестов на знания правил вождения: тестирование нужно и полезно не столько самому водителю, сколько пешеходам и другим участникам движения. До определенной степени оно может защитить нас от горе-водителей, гоняющих по тротуарам.

Совершенно другая задача – профориентационное тестирование. Уже говорилось выше: если в случае профотбора мы имеем ситуацию: одна вакансия – много кандидатов, то в случае профориентационного – один кандидат и много потенциальных возможностей развития профессиональной карьеры, выбора тех вакансий, на которые можно послать заявку и резюме. То есть в каком-то смысле обратная ситуация. И интересно, что те тесты, которые работают в ситуации профориентации, например, опросники – не работают в ситуации отбора, и мы часто не отдаем себе в этом отчета. Например, личностные опросники отлично отработаны в ситуации консультации, потому что человек сам заинтересован получить достоверную информацию о себе, и в том, чтобы консультант мог дать дополнительный доброкачественный совет – где же он будет более эффективным. И в этом случае он не искажает, не фальсифицирует результаты, а отвечает так, как есть на самом деле. Да, не люблю утром рано вставать, не люблю ездить в командировки и так далее. Если же он отбирается на хорошую по зарплате вакансию, предполагающую частые командировки, то скорее всего он скроет этот ответ, он ответит «да» на вопрос «люблю ездить в командировки». Правда, потом будет от них – от командировок – всячески отлынивать, отыскивая разные поводы, и мучиться.

Таким образом, многие тесты, которые очень популярны и дают хорошие результаты в консультирования, не работают в ситуации профотбора. Об этом много раз приходится предупреждать. Психологи пытаются исхитриться, вооружиться так называемыми «шкалами лжи», позволяющими определить степень искренности тестируемого, или убедить людей: вот, отсеивать-то надо. Увы, в ситуации экспертизы 70-80% протоколов кандидатов на вакансию оказываются недостоверными: люди безбожно врут.

Соответственно, мы доверяем остальным 20-30%. Но это не очень удовлетворяет HR-специалистов. Ведь так хочется хоть на что-то опереться и чему-то верить.

Промежуточные выводы:

К сожалению, непрофессионалу сложно разобраться по внешнему виду – какой тест является добротным, прошедшим до этого многолетнюю статистическую обкатку на широком контингенте, серьезную статистическую обработку результатов, предварительную калибровку шкал и так далее, и какой таковым совсем не является. По внешнему виду они бывают малоотличимы. И там, и там задаются вопросы, которые иногда люди интерпретируют как глупые. «Наступаете ли Вы на трещины на асфальте?» – Что за глупости!? Какое это имеет отношение к решению серьезных вопросов? То есть косвенный, ассоциативный характер каких-то вопросов часто вызывает раздражение. Он присутствует как в профессиональных тестах, так и в развлекательных, являющихся скорее пародиями на серьезные, где ради хохмы задаются какие-то совсем «кудрявые» вопросы, зато всем весело. Правда, в отличие от профессиональных методик, в тестах развлекательных результат очень часто – и это, конечно, самое смешное – вообще никак не связан с ответами на вопросы.

Я не против самопознания с помощью тестов, такжк как в принципе не против самолечения, а такая аналогия напрашивается. Когда грамотные посетители аптеки начинают обращать внимание на сроки годности лекарств, на противопоказания к применению – это хорошо. Так же по сути дела и с тестами. Кстати, в серьезных руководствах к тестам должны содержаться и данные об их «сроках годности». Существует такое понятие как жизненный цикл теста – life span. Даже если тест сделан корректно, на основе статистики, все равно через какое-то время (а для многих тестов этот срок – всего пять лет) необходима разработка новой версии теста, нужно заново калибровать тестовую шкалу - нужно пересматривать нормы, которые могут «устареть» и тест окажется «просроченным».

Необходимо также помнить, что тесты, разработанные за рубежом (многие тесты носят имена своих создателей, и о стране их происхождения можно косвенно судить по «фамилии» теста), недостаточно перевести на русский язык. Нужна серьезная работа по адаптации методики, наработке новых норм на основе оригинальных статистических данных, поскольку практически каждый тест несет в себе отпечаток той культуры и даже идеологии, в рамках которых он был создан. Это очень трудоемкая и длительная процедура, требующая больших финансовых затрат и высокой квалификации специалистов. Как правило, у нас в стране раньше, да и по сей день, такую работу могут осуществить только крупные государственные научно-образовательные учреждения. Поэтому, если Вам предлагают пройти тест с иностранным названием, не стесняйтесь поинтересоваться, кем он адаптирован для использования в русскоязычной среде. Если ответа не последует, либо окажется, что это безымянный перевод или неавторская Интернет-версия даже очень уважаемого теста – вряд ли стоит доверять полученным результатам, и даже начинать добровольное тестирование. Если же Вы получите, например, ответ «НИИ имени Бехтерева в 2000 году, лаборатория Л.И.Вассермана», то, возможно, перед Вами –действительно качественная и надежная методика.

Очень хороший индикатор, который может помочь людям – это намеренное и сознательное сужение области применения теста. Когда говорят, например: «можно применять только для студентов мужского пола авиационных военных учебных заведений в возрасте от 17 до 27 лет» или «не рекомендуется применять для пенсионеров, инвалидов, людей творческих специальностей», то есть очень четко и узко описывается контингент, сфера применения, ограничения, это – один из признаков профессионального теста. Когда же автор в рекламных целях намеренно напичкивает в свое руководство информацию о том, что «тест эффективен для учащихся младшей и средней школы, детского сада, их родителей и воспитателей, а также кандидатов на президентские выборы» – вот такой широкий диапазон – к этому тесту следует отнестись с недоверием.

Еще один показатель: если тест состоит из 5-7-10 вопросов, то это скорее развлекательный тест, и к его результатам тоже нужно относиться с юмором.

Вообще, главное достоинство тестов как инструментов самопознания, главная их прогностическая ценность – в возможности сравнить свои силы, способности и потенциальные возможности с результатами, полученными другими людьми. Потому что хороший тест построен на оценке человека в сравнении со многими другими, выполнившими этот же тест. Ты думаешь о себе, что ты человек, например, склонный к риску. Но когда выясняется, что 80% твоих сверстников уже прыгали с парашютом либо готовятся к этому, а ты относишься к тем 20%, которые даже не помышляют о такой возможности, то стоит ли браться при этом за собственный бизнес, учреждать собственное предприятие? А принятие риска – очень важный параметр при этом. Если у тебя избегающая к риску стилистика поведения, такая характерологическая позиция, то, скорее всего – не стоит. Но ты этого не узнаешь, пока не пройдешь тест, который выполнили до тебя тысячи других людей.

Более подробную информацию о компьютерном тестировании, об использовании психологических и непсихологических тестов в организационном консультировании Вы можете найти на сайте HR-Лаборатории Human Technologies.