Отчет о конкурсе авторов тестовых заданий

Первый Интернет-конкурс авторов тестовых заданий по теме «Оценка персонала», объявленный HR-Лабораторией «Гуманитарные технологии» 6 октября 2008 года, завершен. В будущем мы планируем организацию подобных конкурсов и по другим темам в области HR-менеджмента. Целью этого проекта для нашей Лаборатории является интеграция надкорпоративного знания, а также создание коллектива из успешных внештатных авторов тестовых заданий и экспертов по этой тематике. В перспективе собранные материалы могут быть использованы в системе многоэтапной сертификации HR-специалистов или организационных психологов.

Подробно с условиями конкурса можно ознакомиться в Положении о конкурсе. Здесь мы напомним только порядок составления рейтинга участников и выбора победителей. Процедура определения рейтинга каждого из авторов включала 2 или 3 критерия –

• (обязательно) отбор заданий, удовлетворяющих критерию оптимальной статистической трудности (процент респондентов на третьем этапе конкурса, ответивших на вопрос в соответствии с авторским ключом, должен находиться в пределах от 40% до 70%);

• (обязательно) подсчет числа заданий, средние оценки качества по которым на третьем этапе конкурса составили не менее 3 баллов по пятибалльной шкале (среди заданий, отобранных на предыдущем этапе);

• (в спорных случаях) в случае совпадения числа качественных заданий у двух участников сравнение средних оценок качества заданий этих двух участников.

Победителями первого конкурса стали:

Мы от души поздравляем победителей!

Как и было объявлено по условиям конкурса, победителей конкурса ожидают призы. Просим победителей связаться с Оргкомитетом, чтобы решить вопрос о времени и месте награждения.

Рейтинг участников конкурса, которым не удалось стать победителями, мы публикуем под шифрокодами.

Помимо победителей, Оргкомитету хотелось бы отдельно отметить и раскрыть имена еще двух участников:

За более подробной обратной связью все участники могут обратиться к администратору конкурса Анне Науменко info@ht.ru в индивидуальном порядке.

В первом отборочном туре конкурса приняли участие 84 человека. Во второй тур был допущен 51 участник, из которых тестовые задания представил 21 автор. В третьем туре (экспертная перекрестная оценка заданий и решение заданий) приняли участие уже только 17 авторов, из которых и были выбраны победители.

Поскольку по нашим условиям принять участие в конкурсе мог любой человек, считающий себя специалистом по оценке персонала, участниками конкурса (на втором туре) оказались самые разные люди – от студентов и аспирантов до руководителей отделов оценки, подбора и развития персонала. Возраст участников колебался от 19 до 39 лет (в среднем 28 лет). Разнообразной оказалась и география авторов – Москва, Екатеринбург, Ставрополь, Новосибирск, Челябинск, Кишинев. Каждый из конкурсантов подготовил от 5 до 25 заданий (в среднем 12). Всего на конкурс было представлено 254 тестовых задания.

Средний показатель трудности заданий - 60,5% (процент правильных ответов на задания); разброс (стандартное отклонение) – 23,8%.

Всего заданий в границах трудности от 40% до 70% – 105, из них заданий, оценки качества по которым не ниже 3 баллов, - 74.

Средняя оценка качества заданий в границах трудности от 40% до 70% – 3,22.

Средний процент решенных заданий на третьем этапе - 61,5%, разброс (стандартное отклонение) – 11,4%; лучший результат – 92% правильно решенных заданий.

Несмотря на то, что среди наших авторов было немало специалистов с большим опытом практической работы, основная масса предложенных вопросов (более 200) носила скорее теоретический характер («Кто является автором..?», «Какой шкалы нет в методике..?», «В каком году..?» и т.д.). Лишь около 40 заданий содержали описания гипотетических проблемных ситуаций из практики (или микро-кейсов). Принципиальное отличие этих двух категорий вопросов друг от друга состоит в том, что правильный ответ на «теоретические» задания скорее свидетельствует об эрудиции и хорошей памяти испытуемого, он также легко находится в литературе или поисковой системе. Верный ответ на «практические» задания скорее говорит о навыках (обширном опыте) профессиональной деятельности испытуемого, его довольно сложно найти в книге или поисковике. И, конечно, придумывать «знаниевые» вопросы куда проще, чем «навыковые» (или компетентностные).

Мы не ограничивали участников в выборе тематики заданий в рамках широкой темы оценки персонала, поэтому нам было очень любопытно проанализировать, какие вопросы, проблемы, методы и техники попадали в поле зрения авторов чаще других. Проведенный нами анализ не претендует на высокую научность и исчерпывающую точность – его целью было выявить наиболее общие тенденции или подметить что-то примечательное.

Начнем с хит-парада методов оценки, попавших в поле зрения участников конкурса. Сразу оговоримся, что при подсчете количества вопросов, посвященных каждому из методов, мы не учитывали упоминание метода в качестве дистрактора (а только в «теле» вопроса или в качестве ключевого ответа). Формально абсолютным лидером стало психодиагностическое тестирование – ему в общей сложности авторы посвятили 48 тестовых заданий. Однако всего в 13 заданиях рассматривались общие вопросы, связанные с тестированием (процедура, обратная связь, уместность использования в различных ситуациях и пр.). Остальные 35 заданий были посвящены конкретным диагностическим методикам и представляли собой вопросы типа «Тест Розенцвейга – это…», «Матрицы Равена измеряют…», «Автор теста семейных отношений - …».

На втором месте по «индексу цитирования» оказался метод интервью. Технологии проведения и различным типам интервью авторы посвятили 26 вопросов, а также еще 5 – типам вопросов на интервью. В этом в общем-то нет ничего удивительного – собеседование является по факту ключевым методом российских HR-ов.

Третье место поделили метод 360 градусов и технология «центр оценки» (им авторы посвятили по 20 вопросов). Тесно связаны с этими темами оказались еще 18 заданий по разработке и оценке компетенций, а также по содержанию конкретных компетенций. Существенно менее популярными оказались метод кейсов (3 задания), метод наблюдения и деловая игра (по 2 задания).

Не забыли авторы психометрические свойства различных методов оценки, подготовив на эту тему целых 30 заданий. Кстати, наибольшее внимание привлекла валидность (особенно прогностическая) различных оценочных техник, что, впрочем, легко объяснимо. 16 авторских заданий касались аттестации и еще 6 – компьютерных технологий в психодиагностике.

Собранный нами банк был богат на вопросы о персоналиях, датах и специфических терминах. Наш улов составили 35 заданий о названиях тестов и их авторах (об этом мы писали чуть выше), 14 заданий об авторах терминов и концепций (но не тестов), а также 30 вопросов о хитроумных терминах (некоторые из них мы по свежим следам уже включили в наши гиперсловари).

К сожалению, почти забытыми оказались этика и стандарты деятельности в сфере оценки персонала – по этой теме участники предложили всего 3 задания. Очевидно, сказывается отсутствие общепринятых стандартов в этой области.

С уважением,

Оргкомитет конкурса