Александр Георгиевич Шмелёв
Александр Георгиевич Шмелёв
Научный руководитель HT Lab
22.02.2012 Время чтения: 25 минут

Семантический дифференциал в режиме онлайн как инструмент исследования семантико-перцептивных универсалий и личностно-смысловых установок

Семантический дифференциал в режиме онлайн как инструмент исследования семантико-перцептивных универсалий и личностно-смысловых установок

Впервые опубликовано в сборнике «Психология субъективной семантики: истоки и развитие» (под редакцией И.Б.Ханиной и Д.А.Леонтьева). – Москва: Смысл, 2012, с. 103-118

Содержание:

Введение как воспоминание

Автору данной статьи посчастливилось в студенческие и аспирантские годы работать под руководством Елены Юрьевны Артемьевой. Но так сложилось, что мои интересы уже в те годы все более и более становились ориентированными на психодиагностику и дифференциальную психологию личности и все менее пересекались с проблематикой исследования семантико-перцептивных универсалий, которая была центральной для работ Елены Юрьевны. Уже первая моя монография (Шмелев, 1983) отчетливо фиксирует иной фокус и предмет применения психосемантических методов, чем это можно увидеть в первой монографии по психологии субъективной семантики Е.Ю. Артемьевой (Артемьева, 1980).

Увлекаясь психометрикой и математическим моделированием субъективных семантических пространств, автор данной статьи в те уже далекие годы с некоторым удивлением наблюдал за тем, как его научный руководитель — профессиональный математик высочайшего класса, владеющий всеми современными методами многомерного анализа данных, — все больше тяготеет к приемам точечного и качественного анализа низкоагрегированных (индивидуальных) результатов скорее, чем к компьютерным расчетам с помощью выделения главных компонент (факторов) и построению высокоагрегированных (интегративных, глобальных) моделей. Об этом автор уже писал в одной из своих статей, посвященных научному творчеству Е.Ю. Артемьевой (Шмелев, 1990). «Почему же, Елена Юрьевна, Вы не пользуетесь возможностями компьютерного факторного анализа?» — спрашивал я своего научного руководителя, предлагая собственные услуги как практического программиста, имеющего редкий в те годы прямой доступ к запуску программ факторного анализа прямо с монитора мини-ЭВМ.
Кому только я тогда не помогал в обработке результатов «семантического дифференциала» (СД)? Например, при анализе результатов дипломной работы одной из талантливых учениц Елены Юрьевны, которой была Елена Владимировна Новикова. Но только один раз мне удалось уговорить и что-то посчитать из результатов экспериментов, которые были непосредственно спроектированы самой Артемьевой (то ли это были данные Лины Назаровой, то ли Гали Урунтаевой, то ли их вместе взятых, уже сейчас и не помню). Но после этого единичного эпизода я все время получал тогда не вполне для меня понятный ответ Артемьевой: «Мне важно чувствовать закономерности, которые я выявляю и проверяю, своими руками и глазами… Я привыкла считать руками… Компьютерные распечатки я просто не воспринимаю. Они выглядят очень отчужденно. Мне кажется, что это не мои результаты, что в них потеряно что-то главное…»

Только спустя многие годы, поднаторев в анализе результатов психосемантических методик, я стал лучше понимать Елену Юрьевну. Но мой путь к пониманию этого факта лежал все-таки не через «ручной счет». Уж слишком это трудоемко и просто невозможно, особенно когда имеешь дело не с крошечными матрицами типа 12*8 (шкалы микроварианта СД и 8 геометрических фигур Артемьевой), а с гигантскими кубами данных размерностью сотни на сотни шкал, объектов и испытуемых… С годами мне удалось разработать серьезные программные системы, которые еще в 90-е годы работали на локальных компьютерах (как программа «Экспан» для старинной операционной системы DOS), а в 2000-е годы уже появились инструменты для сбора и анализа данных того же «семантического дифференциала» в режиме онлайн в Интернете. В этой статье я опишу, какие результаты удалось получить с помощью инструментального модуля «Шкалирование», разработанного в моей лаборатории «Гуманитарные технологии» в рамках комплексной системы Интернет-сервисов HT-LINE.

Цели и задачи исследования

Данная исследовательская методика была разработана автором статьи не столько для получения особенных и новых «научных открытий», сколько, прежде всего, для решения определенной учебной задачи практикума по «Общей психологии» студентами факультета психологии МГУ. Создание этой методики инициировал в 2003–2004 гг. один из руководителей практикума С.А. Капустин. Главной целью данного исследования, таким образом, была учебно-методическая задача — познакомить студентов с методом СД — с тем, как надо собирать и анализировать результаты «Семантического Дифференциала», как строить субъективные пространства по уже заданным моделям — по заданным ключам (факторным нагрузкам), отображающим шкальные значения объектов шкалирования в факторные значения знаменитого осгудовского пространства E-P-A — «Оценка—Сила—Активность» (Osgood, 1952).

В рамках этой главной учебно-методической задачи перед студентами и преподавателями практикума ставились и решались еще 2 задачи, которые можно назвать исследовательской и диагностической:

2) Исследовательская задача заключалась в том, чтобы средствами статистики студенты научились проверять гипотезу о том, что метафорические пары «объект—шкала» дают больший разброс (дисперсию) индивидуальных оценок, чем физические пары «объект—шкала».

3) Диагностическая задача заключалась в том, чтобы научиться с помощью такого инструмента, как классический СД, измерять личностные установки студентов в отношении той науки, которую они изучают на факультете, — в отношении психологии.

Методика

В каких-то своих основных чертах данная методика восходит к тому заданию, представленному в книге «Практикум по общей психологии» (Практикум по психологии, 1972), которое написал еще в 1960-е годы Ислам Имранович Ильясов и, которое явилось для автора первым знакомством с психосемантикой еще в студенческую пору — годы обучения на факультете психологии МГУ. Еще в том старинном задании студентам предлагалось освоить навык расчета упрощенных факторных значений для объектов шкалирования по простейшему набору из 12-ти шкал микроварианта СД (по 4 шкалы на каждый из 3 главных факторов), а также научиться подсчитывать смысловую близость между объектами (шкалируемыми понятиями) с помощью формулы евклидового расстояния.

В методике были применены следующие 12 биполярных пятибалльных шкал:

  • холодный — теплый
  • легкий — тяжелый
  • медленный — быстрый
  • безобразный — красивый
  • мягкий — твердый
  • тихий — шумный
  • горький — сладкий
  • малый — большой
  • вялый — бодрый
  • противный — приятный
  • податливый — упругий
  • тусклый — яркий

Шкалы были специально подобраны так, чтобы на каждый фактор приходились ровно по 4 шкалы: на фактор «Оценки» шкалы 1, 4, 7, 10; на фактор «Силы» шкалы 2, 5, 8, 11; на фактор «Активности» шкалы 3, 6, 9 и 12. Такая структура подтверждалась неоднократно в русскоязычных исследованиях, проведенных с использованием более обширных наборов шкал и объектов (Петренко, 1983).

В качестве шкалируемых был использован фиксированный набор из шести понятий: Скала, Ручей, Цветок, Наука, Искусство, Психология. Смысл такого подбора шкалируемых понятий был обусловлен поставленными задачами исследования: первые три понятия должны были моделировать в основном пары «физический объект — физический признак», в то время как последние три понятия — пары «абстрактно-социальный объект — метафорический признак». К тому же включение понятия «психология» в ряд с такими понятиями как «наука» и «искусство» позволяет использовать данные этого исследования для измерения личностно-социальных установок студентов в отношении той науки, которую они изучают. То есть, в данном контексте вопрос, связанный с третьей задачей исследования, можно переформулировать так: а к чему ближе «психология» в субъективном семантическом пространстве у студентов-психологов — к понятию «наука» или к понятию «искусство»?

Испытуемые и процедура

В качестве испытуемых в данном исследовании выступили 138 студентов второго курса факультета психологии МГУ, проходившие в 2004 году занятия практикума по «Общей психологии». Каждый студент производил шкалирование шести понятий по 12-ти шкалам непосредственно за экраном монитора в компьютерном классе с использованием системы HT-LINE. На рисунке-скриншоте 1 читатель может увидеть, как выглядит экран монитора в ходе процедуры шкалирования. Испытуемый, вооруженный мышкой и клавиатурой, должен выносить свои оценки, устанавливая «точки» в известный и стандартный элемент интерактивности в современных веб-интерфейсах — радио-кнопки.

Рисунок-скриншот 1.
Вид экрана монитора в ходе процедуры шкалирования в системе HT-LINE.

Обработка результатов

Обработка результатов проведенного исследования производилась с помощью двух главных инструментов:

1) штатных (встроенных) онлайн-процедур обработки результатов шкалирования, присутствующих в каждом «Личном кабинете» в системе HT-LINE: это расчет усредненных шкальных профилей по каждому объекту шкалирования, это построение рейтинга респондентов по убыванию согласованности со шкальными оценками усредненного респондента, это кластерный анализ объектов, шкал и респондентов (по сходству вынесенных оценок) и т.п.;

2) с помощью электронной таблицы MS Excel — с целью построения диаграмм в наиболее привычных форматах, а также с целью выполнения особых дополнительных процедур корреляционного анализа для сводных таблиц с результатами. Следует пояснить, что в рамках системы HT-LINE реализован удобный (запускаемый одной кнопкой) режим экспорта куба данных в Excel, где возможна реализация всего многообразия методов анализа и представления результатов, присутствующих в этом самом популярном электронно-статистическом пакете.

Результаты и их анализ

Анализ усредненных оценок

Для проверки диагностической гипотезы исследования в ходе обработки результатов был выполнен подсчет средних факторных значений для всех объектов по всем испытуемым. В таблице 1 Вы можете увидеть эти данные в числовой форме:

Таблица 1.
Усредненные факторные значения объектов по шкалам и по факторам EPA.

Для большей наглядности на рисунках 2а, 2б и 3 приводятся гистограммы, по которым можно сравнить, каким образом оценки разных объектов (шкалируемых понятий) отличаются между собой по отдельным шкалам и в целом по факторам.

Рис. 2. а)

Рис. 2. а) 

Рис. 2. б)

Рис. 2. б)
Гистограмма, иллюстрирующая различия в оценках, полученных объектами шкалирования по отдельным шкалам: а) — первые шесть шкал; б) — последние шесть шкал. Внимание: столбцы на гистограмме слева направо идут в том же порядке, в каком сверху вниз подписаны соответствующие объекты.

Рис. 3

Рис. 3.
Различия в оценках, полученных объектами шкалирования по факторам EPA.

Даже беглый взгляд на таблицы и гистограммы, я надеюсь, не оставит у читателя сомнений в том, что 138 испытуемых — это вполне достаточная выборка для убедительного моделирования «субъективного семантического профиля» шкалируемых объектов.

К какому же из шкалируемых понятий оказалось ближе понятие «психология»? В таблице 2 приводятся попарные расстояния между объектами (понятиями), подсчитанные по самой популярной метрике — формула Евклида (корень из суммы квадратов расстояний между проекциями объектов на оси по всем осям, или факторным шкалам пространства). Получается, что к «психологии» ближе всего в сознании студентов по своему коннотативному (эмоционально-ассоциативному) значению понятия «искусство», а не «наука». А все понятия из ряда «объектов физического мира» отстоят от понятия «психология» дальше, чем «наука» и «искусство». Чтобы убедиться в этом результате (перепроверить выкладки автора), самые пытливые читатели могут применить формулу евклидова расстояния ко всем парам столбцов в таблице 1 (по трем факторным строкам).

Таблица 2.
Попарные евклидовы расстояния между объектами в пространстве факторов EPA.

Интересную и поучительную визуализацию взаимного расположения понятий дает нам на рисунке 4 геометрическая модель EPA в двухфакторной проекции на первые 2 факторные шкалы (оси) — Оценка и Сила. Из этой модели видно, что «психология» по сравнению с «наукой» воспринимается студентами второго курса как более «приятный объект», но… «менее сильный». Также видно, что от точки, локализующей в этом пространстве понятие «психология», до точки «искусство» расстояние оказывается почти в 2 раза более коротким, чем до точки «наука».

Рис. 4.
Графическая иллюстрация взаимного расположения шкалируемых понятий в пространстве первых двух факторов EPA — Оценка (по оси X) и Сила (по оси Y).

Теперь используем такой прием в представлении данных, который использовала в своих работах Е.Ю. Артемьева, — построение «качественного семантического кода» для шкалируемых объектов. Этот прием означает применение некоторого статистически обоснованного порога (по числу совпадения ассоциаций у разных испытуемых), ниже которого все связи между тем или иным полюсом шкалы и объектом признаются незначимыми, то есть, нулевым. Но, как мы хорошо знаем из статистики, для разных уровней статистической значимости можно выбирать разные пороги. Поэтому мы в нашей работе применили несколько разных порогов и проследили различия в «семантических кодах» (семантических полях), возникающих при этом.

Таблица 3а*

Таблица 3б

*Примечание. В клетках таблиц 3а и 3б появляется +1, если в таблице 1 связь между шкалой и понятием положительная и выше порога; появляется –1, если в таблице 1 связь между шкалой отрицательная и выше порога по модулю. В остальных случаях в клетках таблицы появляются значения 0.

В таблице 3а можно увидеть, как происходит обнуление тех значений из таблицы 1, которые оказались ниже порога 0,2. А в таблице 3б можно увидеть, как происходит обнуление тех значений из таблицы 1, которые оказались ниже порога 0,8.

Из каждой таблицы теперь мы легко на основе простого перечисления строим «качественную модель семантического поля» каждого из шести объектов, а именно — путем перечисления шкальных полюсов, имеющих значение 1 по модулю. Получаем два смысловых поля («семантических кода») для интересующего нас понятия «психология»:

Для порога 0,8 этот код для понятия «психология» содержит только три слова-прилагательных: «красивый + большой + приятный». Для порога 0,2 этот код для того же слова «психология» значительно шире и содержит 9 прилагательных: «теплый + тяжелый + красивый + мягкий + большой + бодрый + приятный + податливый + яркий».

Теперь для этих качественных данных мы можем применить метрику сходства семантических (ассоциативных) полей, которая, в частности, обоснована в работе американского психолингвиста Джейма Диза как «коэффициент пересечения» (intersection coefficient — см. Deese, 1970), которая является частным случаем коэффициента конгруэнтности для номинативных (качественных) признаков:

где Аik — оценка объекта i по шкале k, ?— суммирование по всем шкалам (то есть, индекс K пробегает все N значений по числу шкал).

Чтобы читателю было легко следить за ходом подсчетов, приведем пример вычисления коэффициента пересечения для семантических полей «скала» и «психология» из таблиц 3а и 3б. В таблице 3а, по трем шкалам коды для «скалы» и «психологии» совпадают (оба объекта «красивые, большие и приятные), а по двум шкалам полюса оказываются противоположными («скала» вызывает ассоциации с «холодным и твердым», а «психология — с «теплым и мягким»). Суммы квадратов по каждому столбцу совпадают с числом клеток, отличных от нуля: для «скалы» это значение 10, а для «психологии» — 9. Поэтому IC оказывается равным: 

IC = (3–2) / ? (10 * 9) = 0,11

В таблице 3б, по трем шкалам коды для «скалы» и «психологии» совпадают (оба объекта «красивые, большие и приятные), а вот те шкалы, по которым у «скалы» и «психологии» полюса оказывались противоположными, при этом высоком пороге получили нулевые значения (не входят в область пересечения семантических полей). Суммы квадратов по каждому столбцу в этом случае оказываются равными 8 и 3 соответственно. Поэтому IC оказывается равным: 

IC = 3 / ? (8 * 3) = 0,61

Вот как, оказывается, резко зависит семантическая близость понятий от выбора того или иного «порога отсечения»! Для каких-то пар понятий при изменении порога близость может повышаться, а для каких-то, наоборот, понижается.

Даже не создавая никаких особенных программ для компьютера, используя только современные электронные таблицы (которых, увы, просто не было в те времена в распоряжении Елены Юрьевны), мы легко можем проследить определенные закономерности, рассчитав близости одного понятия со всеми другими в нашем эксперименте на фоне изменения «порога отсечения». Я уверен, что будь в руках Елены Юрьевны подобный инструментарий, который доступен теперь каждому студенту на любом компьютере (включая портативные нетбуки!), мы сегодня бы уже имели «семантико-перцептивные универсалии» (или «семантические коды») для многих и многих интересных классов стимулов.

В таблице 4 Вы можете увидеть, как меняется «коэффициент пересечения» у понятия «психология» с другими пятью понятиями при разных значениях «порога отсечения» (ПО). Визуализировать определенные закономерности помогает рисунок-гистограмма 5.

Таблица 4

Таблица 4.
Значение коэффициентов пересечения понятия «Психология» с другими понятиями при разных уровнях «порога отсечения» (ПО).

Итак, что мы наблюдаем? — При любом уровне порога отсечения самым близким понятием к «психологии» оказывается «искусство». И это не противоречит тем результатам, которые мы получили, при расчете евклидова расстояния для высокоинтегративной факторной модели. Но… иерархия остальных понятий по степени их близости к «психологии» в зависимости от порога меняется и весьма существенно! При высоком значении ПО=0,8 на второе место выходит вовсе не «наука» (как это мы видим в модели расстояний), а понятие «скала» (?!). Почему? — Легко увидеть, что это происходит из-за того, что более бедное (по составу признаков) семантическое поле «психология» при высоком пороге, как раз не включает в своей состав те признаки, по которым «скала» и «психология» различаются, и не включает, опять-таки, те признаки, по которым оказываются сходными «психология» и «наука» (конкретно это прилагательные «тяжелый и яркий» — сравните таблицы 3а и 3б).

Рис.5

Рис.5.
Гистограмма, иллюстрирующая данные из таблицы 4. Высота столбца отражает величину коэффициента пересечения понятия «психология» с другими пятью понятиями при соответствующей величине «порога отсечения» (ПО).

Так что оказывается, что в зависимости от выбора «порога отсечения», мы получаем существенно разные низкоинтегративные модели семантического поля объекта (качественные, пошкальные, а не пофакторные): при понижении порога близость ко всем физическим объектам у понятия «психология» сокращается, а близость ко всем «абстрактным понятиям» — растет (или сокращается, но в относительно меньшей степени). На уровне самого низкого порога ПО=0,2 мы получаем точно такую же иерархию отношений близости как для «евклидова» расстояния.

Таким образом, по нашим данным прослеживается следующая закономерность: высокопороговые низкоинтегративные психосемантические (эмпирические) модели значения слова оказываются, в большей степени, насыщены коннотативными (эмоционально-оценочными) компонентами, которые при суммировании результатов, полученных от разных испытуемых, оказываются в некотором смысле константными, то есть, получают статус неких «семантических универсалий». В то же время, низкопороговые низкоинтегративные модели уже вбирают в себя ряд денотативных (предметно-отнесенных, буквальных) компонентов значения слова.

Стремясь получить устойчивые семантико-перцептивные универсалии, в своих экспериментах Е.Ю. Артемьева работала, как правило, с высокопороговыми и низкоинтегративными моделями значения. Такой ее методический подход был вполне адекватен тем исследовательским целям и задачам, которые она перед собой ставила.

Анализ дисперсий по шкалам

Для того, чтобы проверить гипотезу о связи между метафоричностью шкал и дисперсией, мы рассчитали дисперсию индивидуальных оценок для каждой пары «объект—шкала». За каждой клеточкой таблицы 5 скрываются 138 различных индивидуальных оценок. Их разброс отражает, как известно, такую меру рассеяния как среднее квадратичное отклонение, которое каждый читатель (и студент практикума) легко может посчитать с помощью стандартной функции в электронной таблице MS Excel.

Таблица 5.
Значения стандартных отклонений (средних квадратических) для каждой пары «объект—шкала» в проведенном исследовании.

Жирным шрифтом мы выделили в таблице 5 те пары «объект—шкала», для которых оценивание можно считать «физическим», а не «метафорическим». То есть, любой физический объект может быть на вид «ярким или тусклым», на ощупь — «твердым или мягким». Хотя, например, такой физический объект как «ручей» не поднимают на руки, поэтому к нему в физическом смысле не применима шкала «тяжелый — легкий». Равно как к таким статическим объектам как «скала» и «цветок» не применима шкала, имеющая физический смысл лишь в отношении движущихся объектов — «быстрый — медленный».
Конечно, даже невооруженным взглядом видно, что в ряде случаев физическое оценивание объекта по физической шкале не дает низкой дисперсии (высокой согласованности между оценщиками-респондентами) не потому, что оно является некорректным или метафорическим (разномодальным), а потому, что каждый индивид актуализирует РАЗЛИЧНЫЙ физический образ одного и того же физического понятия. Понятие «ручей» у одного может актуализировать образ «холодного ручья», а у другого — «теплого ручья». В этом смысле мы должны признать, что в нашем эксперименте шкалированию подвергаются не сами по себе физические объекты (конкретный ручей, или конкретный цветок), а собирательные понятия, которые по-разному могут быть конкретизированы.
Но все-таки мы видим, что большинство чисел, выделенных в таблице 5, оказывается ниже некоторого среднего значения для этой таблицы (оно равно 1,05). Если быть совсем точными, то в 11 случаях из 15 мы наблюдаем более низкие значения, чем среднее значение 1,05. Это отклонение от ожидаемого среднего 7,5 (половина случаев) не является статистически значимым, но легко себе представить более масштабный эксперимент с большим числом физических понятий, который, конечно, дал бы нам значимый статистический результат в этом направлении — в направлении подтверждения выдвинутой гипотезы.

На базе таблицы 5 с помощью стандартной функции MS Excel под названием «Ранг» была построена таблица 6. В каждой клетке таблицы 6 стоит ранг от 1 до 6, указывающей на место данной пары «объект—шкала» в ряду возрастающих значений по данной шкале (1 — минимальное значение стандартного отклонения).

Таблица 6.
В клетках этой таблицы указаны ранговые значения, указывающие на место возрастающем ряду внутри каждой строки таблицы 5.

Не требуется даже применять особые критерии непараметрической статистики (вроде «разности ранговых сумм» — Рунион, 1982) , чтобы увидеть, что сумма рангов по первым трем столбцам меньше, чем сумма рангов по последним трем столбцам.

Обсуждение результатов и выводы

Итак, в нашем эксперименте мы описали методику и результаты, полученные с помощью онлайн-системы проведения методики «семантического дифференциала». Этот инструментарий очень удобен и для учебных, и для исследовательских целей, так как многократно ускоряет процессы проектирования подобных методик и сбора массовых результатов.

Наши результаты свидетельствуют в пользу выдвинутых нами гипотез, и решают поставленные задачи исследования:

1) Метафорическое применение шкал «семантического дифференциала» дает больший разброс (дисперсию) индивидуальных оценок, что говорит о большем психодиагностическом потенциале методики СД именно в случае метафорического оценивания с помощью шкал СД абстрактных понятий, а не конкретных физических объектов;

2) Студенты-психологи воспринимают понятие «психология» как более близкое к понятию «искусство», чем к понятию «наука», что, соответствуя другим, неформализованным наблюдениям, служит одновременно подтверждением валидности тех измерений личностно-смысловых установок, которые можно производить с помощью метода «семантического дифференциала».

Новым и несколько неожиданным результатом нашего исследования оказалось выявление следующей закономерности в выборе «порога отсечения» — при формировании «семантического кода» шкалируемых объектов с помощью того приема, который использовала Е.Ю. Артемьева. Оказывается, высокие пороги отсечения нам дают более «коннотативные» (эмоционально окрашенные) коды, а более низкие пороги — больше моделируют предметную отнесенность значения. Дальнейшая перспектива подобных исследований состоит в том, чтобы изучить, в какой мере индивидуальные различия между испытуемыми в их способах категоризации и построения семантического «образа мира» можно моделировать с помощью «порога отсечения».

Литература

  • Артемьева Е.Ю. Психология субъективной семантики. М.: Изд-во Моск. ун-та, 1980.
  • Петренко В.Ф. Введение в экспериментальную психосемантику: исследование форм репрезентации в обыденном сознании. М.: Изд-во Моск. ун-та, 1983. Практикум по психологии / Под ред. А.Н. Леонтьева, Ю.Б. Гиппенрейтер. М.: Изд-во Моск. ун-та, 1972.
  • Рунион Р. Справочник по непараметрической статистике: Современный подход. – М.: Финансы и статистик, 1982.
  • Шмелев А.Г. Введение в экспериментальную психосемантику: теоретико-методологические основания и психодиагностические возможности. М.: Изд-во Моск. ун-та, 1983.
  • Шмелев А.Г. Семантический код и возможности матричной психодиагностики // Вестн. Моск. ун-та. Серия 14. Психология. 1990. № 3. С. 23–28.
  • Deese J. Psycholingistics. Boston: Allyn and Bacon, 1970.
0 комментариев
Написание комментария требует предварительной регистрации на сайте

Войти с помощью:

Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Комментариев пока нет, будьте первым
Хотите подобрать тест для оценки?

В нашем арсенале более 30 тестов оценки личностных, мотивационных особенностей, IQ, управленческого потенциала, рискованного поведения, самопознания и др.

Оставьте заявку на бесплатную консультацию специалиста!

Перейти в каталог тестов