Комментарий А.Г. Шмелева к «Стандарту тестирования персонала 1.3 2015»

Сам текст Российского Стандарта тестирования персонала (версия 1.3) опубликован здесь.

Хотелось бы в этом комментарии помочь читателю, не привыкшему к чтению подобных документов, лучше сориентироваться, как и в каком порядке читать. Казалось бы, что за вопрос «В каком порядке читать? - в том, в каком написано», - скажет читатель. А вот и неверно! Это ведь не художественное произведение и не детектив, а свод тематически сгруппированных правил. Мы ведь не можем подряд читать все правила русского языка, а обращаемся к нужному правилу… по мере возникновения затруднений. Вот и будет самым естественным способом пользования этого документа – обращение к нему по мере появлений затруднений или запросов. Какого же рода запросы могут возникать и как их помогает снять данный стандарт? Часто затруднения - это споры, споры между заказчиком и исполнителем процедуры тестирования, между организаторами тестирования и потребителями результатов, между администрацией и тестируемыми и т.п. Стоит посмотреть в стандарт в этих случаях, чтобы понять, на чьей стороне правота (или не на чьей).

Конечно, стандарт должен быть снабжен подробным рубрикатором-оглавлением, чтобы облегчить поиск нужного правила, касающегося нужной ситуации. Именно такое оглавление почему-то не попало в первую журнальную версию (в настоящее время оглавление добавлено - прим.ред.). Но…поиск лучшего правила еще более, чем подробное оглавление, облегчается, если есть электронная версия и можно организовать поиск нужного правила по ключевым словам. На каждом этапе работы с тестами возникают, конечно, свои ключевые слова и своя логика поиска правила.

А с чего же начинается подготовка к тестированию? – Многие думают, что с выбора теста. Ну и мы (авторский коллектив) пошли навстречу такой типовой стратегии, поэтому уже глава 2 посвящена классификации тестов – чтобы облегчить ориентировку читателя в том, как классифицируются тестовые методики и для каких целей служат целые классы методик. Кому-то, однако, покажется самым полезным сразу обратиться к четвертой главе, где дается минимум психометрических требований к тестам как к измерительным методикам. Ну и пусть – начинайте на здоровье с четвертой главы. И пусть будут Вам понятны те упрощенные и огрубленные определения надежности и валидности, которые мы попытались дать, вопреки строгостям, принятым в среде академических специалистов.

Но… очень часто полезней начинать не со второй главы и даже не с четвертой, а почти … с конца – с главы, посвященной обратной связи и принятию решений (глава 10). Что Вы хотите сообщить по результатам тестирования лицам, принимающим кадровые решения в этой организации, на какие их запросы ответить, что Вы хотите сообщить самим тестируемым? - Именно ответы на эти вопросы помогают в последующих шагах по подготовке программы тестирования. Одно дело – это ситуация, когда решения должны принимать сами тестируемые – после получения своих результатов и на их основании. Эти ситуации мы назвали в нашем стандарте условным термином «консультативное тестирование». В этих случаях годятся тесты и тестовые технологии, не слишком защищенные от искажений (возможных фальсификаций). Ибо в консультативной ситуации тестируемые совершенно не заинтересованы в том, чтобы самих себя обманывать. Это, например, дистанционное онлайн-тестирование, результаты которого предъявляются прежде всего самому тестируемому и по этим результатам сам тестируемый решает, имеет смысл тратить время и силы на интервью или смысла нет.

Совершенно другая ситуация имеет место, когда по результатам тестирования решение принимает руководство. Этот тип ситуации мы назвали в стандарте «административное тестирование» (западный эквивалент – тестирование с высокими ставками или high stake assessment). Кстати, мы долго спорили, какими терминами обозначить это различение, как будет понятнее, но поняли, что ни одной готовой пары терминов для этого различения еще нет, так что… придется эйчарам-оценщикам привыкать к новой терминологии. Дали просто набор синонимов. Например, для «административного тестирования» - это «экзаменационное, аттестационное и т.п.». Хотя термин «аттестация» подразумевает юридически более жестко-нормированный тип процедуры…

В стандарте сразу в нескольких главах упомянут в разном контексте такой ключевой инструмент в организации процесса как «информированное согласие». Вот это яркий пример, когда поможет поиск с помощью ключевого слова «информированное согласие». Тестируемый должен понимать, что будет происходить с его результатами еще до выполнения теста, - вот в чем главный смысл процедуры подписания такого документа. А кто его готовит, кстати? – вопрос не праздный. Многие ведь на что надеются, когда обращаются к стандартизованным тестам? – На то, что разработчик этого инструмента решит за пользователя все проблемы и, в частности, предложит готовенький образец «информированного согласия». Но… все не так! – «Информированное согласие» - это атрибут ситуации тестирования, которую организует не разработчик, а пользователь теста. Поэтому именно пользователь должен уметь писать этот документ, точнее корректировать его шаблоны применительно к своей собственной ситуации. Только пользователь знает, будет ли это ситуация «консультативного» или «административного» тестирования. Разработчик этого не знает. Так что… главный принцип, заявленный в стандарте, поможет понять этот документ, ибо это сквозной принцип: разработчик отвечает за тест как за инструмент, но за применение инструмента – за процедуру тестирования – отвечает не он, а пользователь теста. Если хотя бы один этот принцип разделения ответственности будет ухвачен читателем, уже одно это оправдает с лихвой усилия по созданию объемного документа. Таково мое убеждение! Не отвечает фармацевт за то, какие врач прописывает лекарства пациенту. Он отвечает за качество самого лекарства и помогает врачу в инструкции, ограничивающей сферу применения лекарства. В остальном – ответственность на враче. Поэтому-то мы и надеемся, что у читателей из числа эйчаров-практиков возникнет все-таки понимание, что «Стандарт тестирования» адресован вовсе НЕ разработчикам тестов, а написан для них прежде всего – для пользователей.

Не буду утомлять читателя в этом комментарии рассказом о том, как разрабатывался стандарт. Желающие смогут в отдельном комментарии в журнале найти эту информацию. В ходе разработки использовались современные процедуры извлечения знаний и согласования экспертных оценок, в которых приняло участие кроме авторской группы в 14 человек, также еще 20 экспертов, всего 34 специалиста. Смысл этой информации в том, чтобы читатель понял: данный документ - плод усилий большой группы, а не узкого круга из 2-3 соавторов.

Зачем пользователю нужно в определенном объеме знать, что такое психометрические свойства теста – надежность, валидность, репрезентативность, достоверность? – Чтобы понимать, какой инструмент выбрать для какой ситуации. Данный стандарт НЕ запрещает пользователю применять тесты, которые не прошли психометрической проверки. Например, это могут быть тесты профессиональных знаний «местного производства» (изготовленные внутренними экспертами в самой организации, где они применяются). Но… пользователь в этом случае должен знать, что в таком случае на него (и только на него) падает ВСЯ ПОЛНОТА ответственности за решения по результатам тестирования. Если же пользователь берет на вооружение стандартизированный психометрический тест, то он начинает разделять ответственность с разработчиком. Ведь психометрический тест отличается от «доморощенного квазитеста» тем, что разработчик проверяет и измеряет уровни надежности (качество шкал), валидности (точность интерпретации), репрезентативности (обоснованность норм) для своего инструмента. И если пользователь не может получить аналогичных показателей в своей ситуации, и если он не нарушает той ситуации, в которой и для которой разрабатывался тест, то пользователь может подать рекламацию на качество теста. Все это непривычно для многих эйчаров, я знаю. Но есть немало примеров из области техники, которые помогают понять эти тонкие вопросы о распределении ответственности. Тест – это ведь измерительный прибор, хотя больше информационный инструмент, чем материальный. Если он правильно применяется в таких условиях, где он должен работать (не нарушены условия температуры, влажности и т.п.), то погрешность (ошибка измерении) должна быть пренебрежима. Напольные весы должны измерять вес с точностью до 1 кг – если это написано в инструкции и это не выполняется, то такие весы можно сдать и потребовать возмещения (хотя если по таким напольным электронным весам идет морозный сквозняк, то они будут давать гораздо более сильную погрешность – нарушены условия эксплуатации) . По этой аналогии получается, что непсихометрические тесты – это вообще не есть ТОВАР (!). Ибо их измерительные свойства никто не проверял и не объявлял в техпаспорте к методике, поэтому и оспаривать нечего! – Если Вы схватили непсихометрический тест, то применяйте претензии в качестве его работы только … самому себе.

Вот такие вещи призван помочь осознать нашим эйчарам «Стандарт тестирования». Впрочем, в этом кратком комментарии я охватил далеко не все важное и новое. За скобками остались сложные вопросы, связанные с новыми информационными технологиями: вопросы безопасности персональных данных, которые получаются в ходе тестирования, вопросы аутентификации (которая, как выясняется, не тождественна авторизации, что не знают многие пользователи компьютерных систем тестирования) и т.п. Но… самое важное в другом: стандарт – это свод терминов и принципов, сформулированных с помощью этих терминов, который призван создать единый язык общения между разработчиками и пользователями тестовых методик. Чтобы освоить этот единый язык, надо научиться задавать вопросы, используя понятия и термины, которые отражены и в самом тексте стандарта и в обширном приложении – в словаре, и в рекомендуемой литературе. Пока, надо сказать самокритично, мы все еще говорим на разных языках слишком часто. Именно преодолеть эту разноязычность и призван Стандарт. Важен даже не он сам, а диалог между разработчиками и пользователями, который должен быть «спровоцирован» этим документом - в самом позитивном смысле этого слова.

Сам текст Российского Стандарта тестирования персонала (версия 1.3) опубликован здесь.