Отчет о Втором конкурсе авторов тестовых заданий

Второй Интернет-конкурс авторов тестовых заданий по теме «Правовое обеспечение кадрового менеджмента», объявленный HR-Лабораторией «Гуманитарные технологии» 1 декабря 2008 года, завершен. Напомним, что целью данного проекта для нашей Лаборатории является поиск и объединение успешных авторов тестовых заданий и экспертов по разным аспектам управления персоналом.

Подробно с условиями конкурса и правилами построения рейтинга участников можно ознакомиться в Положении о конкурсе.

Ниже мы напомним только порядок составления рейтинга участников и выбора победителей. Отбор качественных заданий и начисление баллов происходило следующим образом:

• выбор заданий, удовлетворяющих критерию оптимальной статистической трудности (процент участников третьего этапа, ответивших на задание в соответствии с авторским ключом, должен находиться в пределах от 40% до 75%);

• среди заданий, отобранных на предыдущем этапе, выбор тех, которые эксперты оценили не ниже 3 баллов по пятибалльной шкале;

• присвоение заданиям баллов: за «обычное» задание – 1 балл, за задание кейсового типа – 2 балла.

При построении рейтинга в случае равенства баллов у двух участников учитывалось количество качественных заданий, в случае совпадения и числа качественных заданий – средние оценки качества.

Мы поздравляем победителей и просим их связаться с Оргкомитетом для уточнения времени и способа получения призов.

Помимо победителей, Оргкомитету хотелось бы отметить еще одного участника:

Дутова Светлана Анатольевна, менеджер службы персонала International SOS, г. Москва – участница с наибольшим КПД (50% ее заданий по результатам конкурса были признаны качественными, при среднем КПД участников всего в 32%).

Рейтинг участников, не вошедших в число призеров, мы публикуем под шифрокодами:

В первом отборочном туре конкурса принял участие 91 человек. Во второй тур был допущен 51 участник, из которых тестовые задания представили 14 авторов. Как и в первом конкурсе, участником мог стать любой человек, считающий себя специалистом по заявленной тематике, поэтому в числе конкурсантов оказались самые разные люди – от студентов до начальников отделов. Возраст участников колебался от 20 до 43 лет (в среднем 30 лет). География авторов включила Москву и Подмосковье, Апатиты, Красноярск, Пермь и Стерлитамак.

Было приятно видеть среди конкурсантов «знакомые» лица, а вернее фамилии людей, которые уже участвовали в нашем первом конкурсе авторов. Так, пятерых из 14 участников данного конкурса, в том числе и двух победительниц (первое и второе места), мы уже знали по прошлому разу.

Каждый участник подготовил от 7 до 84(!) заданий (в среднем 22); всего участники представили 311 заданий. Следует отметить, что продуктивность авторов второго конкурса существенно повысилась – в первом конкурсе участники в среднем подготовили всего по 12 заданий.

Средний показатель трудности заданий - 67,5% (процент правильных ответов на задания); разброс (стандартное отклонение) – 23,0%.

Всего заданий в границах трудности от 40% до 75% – 113, из них заданий, оценки качества по которым не ниже 3 баллов, - 101.

Средняя оценка качества заданий в границах трудности от 40% до 75% – 3,4.

Средняя оценка качества заданий-финалистов – 3,5.

Средний процент решенных заданий на третьем этапе - 65,1%, разброс (стандартное отклонение) – 9,1%; лучший результат – 75% правильно решенных заданий.

Средняя продуктивность участников (процент качественных заданий среди всех заданий, представленных конкурсантом) – 32%

Как уже знают участники и как могли заметить внимательные читатели, основное нововведение второго Интернет-конкурса – начисление дополнительных баллов за задания кейсового типа. Под заданиями кейсового типа мы понимали реалистичное описание ситуации, включающей в себя несколько условий, и в качестве ответов варианты действий в этой ситуации. Ниже вы можете видеть примеры «обычного» и кейсового задания.

В первом конкурсе кейсовых заданий по собственной инициативе участники представили очень мало, однако во втором – мотивация в виде дополнительных баллов сработала, и мы получили огромное множество интересных и часто удачных кейсов. Конечно, были и «перекосы» - задания, которые только маскировались под кейсовые на самом деле таковыми не являясь. Например, вместо «Какие льготы положены инвалидам…?» автор спрашивал: «Евгений П. – инвалид. Какие льготы ему положены?». Но, тем не менее, из 101 задания, признанного удачными по итогам конкурса, 39 оказались «полноценно» кейсовыми.

Содержательно спектр тем, затронутых в заданиях, оказался весьма широк. Из предложенного нами списка совсем не охваченными остались лишь вопросы автоматизации кадрового документооборота и делопроизводства. Впрочем, у участников конкурса заданий по оценке персонала тема автоматизации тоже имела не слишком большой успех.

В целом задания второго конкурса показались Оргкомитету более интересными, чем задания первого конкурса – возможно, сказалась установка на «кейсовость». Лишним подтверждением тому являются и средние оценки качества заданий (3,4 во втором конкурсе против 3,2 в первом), а также процент заданий, получивших оценки от 3 и выше, среди заданий средней трудности (в первом конкурсе таких заданий было всего 70%, а во втором – уже 89%). Что же ждет нас в следующий раз?! О, мы уже предвкушаем… А потому не прощаемся.

До новых встреч, друзья!

С уважением,

Оргкомитет конкурса