О сертификации тестов: Это не группировка престарелых Сальери против Моцартов

Уважаемый участник форума под псевдонимом Kolin!

Кстати, Ваши контраргументы против создания в России системы сертификации были бы еще более весомыми, если бы Вы подписались собственным именем. Как Вы, наверное, знаете, во многих средствами СМИ и других официальных организациях анонимки не является предметом обсуждения вовсе... Впрочем, мы в психологии не слишком избалованы в плане открытых дискуссий на открытых форумах, так что спасибо Вам и на этом.

После первой вашей реплики (еще вчерашней) я подумал, что Вы просто плохо информированный человек, который смутно себе представляет, что такое сертификация (у нас таких немало), но сегодня - когда Вы привели более развернутую аргументацию - стало понятней, что Вас беспокоит именно базовое недоверие к чистоплотности людей, которые будут заниматься процедурами сертификации.

Я вовсе не хочу строить свою аргументацию так, чтобы настаивать на том, что лично мне Вы должны доверять, что лично я - искренний сторонник созданий честной и прозрачной системы, которая позволила бы подняться всей отрасли (тестологии), пребывающей ныне в плачевном состоянии. Даже не так важно разъяснять Вам, что лично я (и наша лаборатория) планируем в большей мере принимать участие в сертификации специалистов, чем в сертификации методик (и охотно доверились бы в плане методик любой объективной и квалифицированной комиссии). Но это все не так важно. Пусть Вы мне не доверяете, пусть не доверяете нашей лаборатории - в этом Ваше право. Вы и не должны и не обязаны никому доверять. Напротив, Вы должны сомневаться в том, будет ли это все сделано чистоплотно и доброкачественно. Поэтому не вижу смысла убеждать Вас в том, что для продуктивных авторов и коллективов (разработчиков методик) нет проблемы дефицита идей, есть лишь проблема воплощения и сбыта массы неосуществленных идей (буквально десятков!), которые невозможно реализовать в отсутствие квалифицированного спроса на них. Особенно это касается компьютерных имитационно-игровых методик… Ведь тут мало одной идеи, нужны финансы для оплаты труда квалифицированных программистов... Это почти как съемка кинофильмов: сценарных идей у какого-нибудь режиссера может быть масса, но не всегда находятся продюсеры, готовые поверить в эти идеи и вложить деньги в производство фильма... Попробую структурировать свой ответ по пунктам:

1. Итак. Во-первых, позволю себе Вас удивить - просто с Вами согласиться в том, что Ваши беспокойства, увы, нельзя назвать совершенно беспочвенными. Слишком много в России жулья - едва ли не во всех отраслях общественного производства, - жулья, обличенного порой самыми высокими титулами, чтобы не беспокоиться. И контраргумент против Вас по логике: "в России должно быть как в развитых странах" не вполне подействует. Ибо немало западных социальных (бюрократических) технологий, перенесенных в Россию с Запада, здесь просто не работают. По причине жульничества. По причине, что они не защищены - просто рассчитаны на "демократию аристократов", а не на "псевдодемократию вчерашних рабов-плебеев"... Они рассчитаны там на базовое доверие, во-первых, к людям, которым дороже всего их деловая репутация. А у нас этого базового доверия нет. Наоборот, имеем базовое недоверие. Кроме того, у нас нет высокой материальной обеспеченности среди людей науки. Так что подозрения в том, что кто-то из бедствующих наших ученых хотел бы поправить свое материальное положение с помощью создания определенной системы, повышающей их личный доступ к интеллектуальным ресурсам, к информационному капиталу, - эти подозрения в наших условиях, увы, не беспочвенны.

2. Но все же Вы, видимо, не понимаете, какие проблемы больше волнуют реальных авторов - разработчиков методик. Сколько-нибудь опытные разработчики хорошо знают, что всякая публикация их произведения - это всегда определенный риск плагиата или пиратства. Парадокс, но самый надежный способ спастись от этого риска - это вообще ничего никому не показывать вовсе ? На самом же деле более серьезная проблема - это отсутствие квалифицированного платежеспособного спроса на действительно качественные методики. - Вот что волнует авторов гораздо сильнее. При наличии огромной массы всякой белиберды и подделок что-то качественное на рынке продвинуть очень не просто. Чтобы твой продукт хотя бы кто-то заметил и оценил, приходится всегда в какой-то мере рисковать... Иногда демпинговать, иногда открывать пробный бесплатный доступ и т.п.

3. Сертификация - довольно новое для России (для российской психологии) явление. Но тут действуют (должны действовать) почти точно такие же механизмы коллегиального принятия решений (на основе комиссий, составленных из известных профессионалов), как и в рамках более хорошо известной процедуры защиты научных диссертаций (мне показалась, что Вам эта система не слишком известна или, если известна, то в своих дурных, извращенных проявлениях). Вдумайтесь, почему несмотря на существующее неполное доверие к порядочности оппонентов и членов Ученых советов (ведь и их можно заподозрить в том, что они "утащат" открытия у молодых ученых) сотни и тысячи молодых людей защищают в разных областях науки свои диссертации? - Просто потому, что несмотря на известный риск, другого способа зафиксировать свой авторский приоритет, зафиксировать свой уровень научной квалификации, кроме как открыть свой научный труд для публичного обсуждения, - просто НЕ существует!

4. Куда ныне вынуждены обращаться авторы, желающие, чтобы их произведения были опубликованы, увидели свет, дали бы возможность зарабатывать с их помощью? - В издательства, в отдельные фирмы. Хорошо, если этими фирмами руководят порядочные люди, которые не будут намеренно называть предложенную новаторскую методику "неоригинальной" - с тем, чтобы затем "слизнуть" какие-то элементы оригинальных идей, которые могут в методике содержаться... Хочу подчеркнуть простую мысль - в отсутствии системы сертификации автор оказывается не более, а МЕНЕЕ защищенным! И таково нынешнее положение вещей. От него в большей мере страдают именно авторы оригинальных разработок - квалифицированные и по-настоящему изобретательные, способные доказать, что сами они свою методику именно изобрели, а не "слизнули" у кого-то. И наоборот - в отсутствие какой-либо профессиональной системы фиксации авторских прав - заинтересованы не столько настоящие авторы, сколько полуавторы-полупираты, которые создают свои методики, "надергивая" их из элементов уже известных других методик. Вот им-то реально будет трудно доказывать обоснованность своих авторских притязаний. Особенно перед лицом профессионально-эрудированной, представительной комиссии, включающей не 2-3 человека, а 2-3 десятка специалистов (!) - что собственно и происходит в рамках Ученых советов (если эти советы нормально укомплектованы независимыми специалистами – сделаем важную оговорку тут же).

5. Конечно, если сертификационная комиссия будет состоять из сотрудников одной организации (например, из сотрудников питерской фирмы "Иматон" или из сотрудников нашей лаборатории "Гуманитарные технологии"), то не только Вы, но и я лично вряд ли бы направил туда свою методику для сертификации. Слишком велика вероятность того, что в решениях членов комиссии в этом случае узкокорпоративные интересы будут доминировать над профессиональной этикой. Чтобы система сертификации существовала и развивалась нормально, она должна включать представителей разных НЕЗАВИСИМЫХ организаций. Так и происходит в Ученых советах, которые по положению ВАК РФ не могут состоять лишь из сотрудников одного научного учреждения, подчиняющихся председателю Совета - он же директор этого учреждения. Между авторитетными специалистами из разных организаций всегда существуют элементы неявной (незримой) конкуренции. Именно риск нарваться на разоблачение со стороны других компетентных свидетелей и является фактором реального (а не декларативного) сдерживания от злоупотреблений - от присвоения себе определенных идей и решений, предложенных другими - молодыми специалистами. Не забудем также и о том, что определенным противовесом от злоупотреблений в случае официальной сертификации оказывается сам письменный документ - сертификат, копию которого получает автор. Вот этот документ является определенной юридической (неполной!) гарантией авторских прав. А в отсутствие подобной системы гарантий нет никаких вовсе! - Вот это надо бы понять!

6. Вырабатываю свою оценку того или иного проекта мы слишком много внимания (в России) уделяем субъективным факторам - личностному доверию или недоверию к персоналиям, входящим в те или иные комиссии и находящимся у истоков того или иного проекта. Это все, конечно, важно. Без личного авторитета этих людей в кругу профессионалов и определенного доверия к ним ничего не может состояться. Но...стоит уделять больше внимания процедурным, социо-технологическим нюансам функционирования системы сертификации - именно как системы, которая должна быть сама по себе более доброкачественной, более устойчивой к риску возможных злоупотреблений. Важно, с моей точки зрения, уделить внимания всем процедурным мелочам. Именно в этих мелочах скрывается дьявол, как известно, то есть соблазн для злоупотреблений. Одно дело - это позитивное решение сертификационной комиссии. Тут возникает гораздо больший эффект публичности и прозрачности, чем в случае возможного негативного решения. Ведь во втором случае на руках у автора не оказывается никакого документа, позволяющего ему в случае необходимости обращаться в суд, - отстаивать свои права. Надо добиваться, чтобы и негативные решения были аргументированными, и оставались в виде копий на руках у авторов, а на них ставили подписи члены сертификационных комиссий.

7. У меня уже получился слишком пространный ответ. Возможно, что какой-нибудь юрист-патентовед был бы более точным в формулировках, но я попытался Вам объяснить, как я понимаю требования к эффективной системе сертификации, - своими словами, как специалист в этой конкретной предметной области - в области тестологии. Хотя важным представляется поговорить и о такой специфичной именно для тестов детали (не думаю, что ее понимают юристы) как оригинальность самих тестовых заданий, а также ключей и системы интерпретации (давайте согласимся с Вами в том, что Вы выделяете именно эти три элемента методики, хотя можно было бы выделить в отдельный компонент еще и тестовые статистические нормы...). Оригинальность самих тестовых заданий НЕ является необходимым условием для признания или непризнания оригинальности теста в целом. Психометрический тест (в отличие от проективного) может оперировать не вполне оригинальными тестовыми заданиями, но размещенными в такой последовательности, снабженного такими ключами (весовыми коэффициентами при подсчете баллов), что он оказывается оригинальной Системой, не сводимой к сумме не вполне оригинальных частей. Тут возможна аналогия с музыкальной мелодией: ведь фактически все мелодии оперируют одними и теми же нотами, но их различное чередование с разной длительностью образует фактически бесчисленное множество мелодий... Тут важно учесть, как сам автор подает заявку, и как сам обосновывает в ней оригинальность (новизну). Если автор настаивает на том, что его методика оригинальна именно по составу самого стимульного материала (особые тексты, особые рисунки, особые цвета, особые "запахи" и т.п.), то при подтверждении обоснованности этих претензий (ведь автор может и не знать, что такое уже изобреталось до него - нужен особый патентоведческий поиск), то в документах о сертификации именно этот аспект новизны и должен быть отражен ОДНОЗНАЧНО. Именно в этом случае сертификат превращается в документ, защищающий именно этот элемент методики как авторский, как оригинальный... Так что… в этом параграфе я создал для Вас (и для других читателей и участников форума) своеобразный тест: если Вы не склонны понимать меня правильно, то из этого параграфа Вы сделаете вывод, что именно Шмелев расписался в том, что собирается создавать свои психометрические тесты на базе новых оригинальных заданий, которые принесут ему авторы… ?

8. И последнее. У меня самого немало скепсиса в отношении возможности создания, а главное – эффективного функционирования – системы сертификации в области психодиагностики в России в ближайшие годы. Но они в больше степени связаны даже не с низким доверием со стороны авторов-разработчиков к подобной системе (читайте – к людям, ее создающим), а низкой мотивацией возможных авторитетных членов комиссий (комиссии) – слишком много им придется выполнять бесплатного квалифицированного труда, результатом которого будут документы, во многом сковывающие их личную творческую свободу. Поверьте, что лично мне гораздо интересней заниматься собственными разработками, чем оценивать результаты чужого труда… Хотя я понимаю, что в такой малоразвитой в России области как психодиагностика, просто трудно по-другому укомплектовать авторитетные комиссии, в которые (вспомним, как в сфере искусства формируются жюри авторитетных конкурсов) придется приглашать активных действующих разработчиков. Лишь через пять-десят-двадцать лет нам удастся, наверное, сформировать сообщество квалифицированных пользователей тестов (кстати, с помощью сертификации пользователей), из которых можно надеяться создать комиссии следующего поколения… Именно тогда система сертификации будет в большей степени стоять на страже потребителей, чем она может это делать сейчас. Пока она будет обречена выражать в большей степени интересы ассоциации производителей… НО все-таки это не будет группировка из Сальери против Моцартов – смею Вас заверить :) Я по крайней мере надеюсь именно на это.

Благодарю Вас за участие в дискуссии, хотя, как уже отмечал выше, было бы приятней поспорить с человеком, открыто назвавшим себя.

А.Г.Шмелев