Цель проекта, в рамках которого выполнена данная работа, заключается в формировании постоянной выборки (панели), репрезентирующей как сегодняшних сторонников СПС и "Яблока", так и весь потенциальный правый и правоцентристский электорат страны. Отбор респондентов, разделяющих либеральные и/или демократические установки, проводился из общероссийской выборки с помощью включения дополнительных вопросов в анкету ПЕНТА.

Задача пилотажного исследования состояла в том, чтобы из предварительно составленных 22 вопросов выбрать 6 наиболее качественных, – как с точки зрения дифференциации выборки, так и с точки зрения адекватности их восприятия респондентами.

Исследование проходит в два этапа. В ходе первого, основного этапа выявлялись проблемы, связанные с восприятием вопросов. На втором, контрольном этапе проверялась корректность формулировок вопросов, отобранных на первом этапе. Если на первом этапе респондентов опрашивали только по тестируемым вопросам, то на втором – эти вопросы были включены в анкету еженедельного московского опроса, что позволило проводить тестирование в контексте реального опроса.

В результате проведения пилотажа получены формулировки, которые одинаково воспринимаются респондентами и практически не приводят к неадекватным ответам.

Основные задачи эксперимента сформулированы следующим образом: (1) определение уровня адекватных ответов; (2) классификация ошибок и неточностей, допущенных в формулировках вопросов и влияющих на уровень адекватности; (3) выявление наиболее вероятных причин появления ошибок.

Процесс интервью моделируется серией последовательных шагов, логически связанных между собой функциями перехода. Это позволяет в качестве объекта исследования рассматривать процесс интервью, а не отдельные вопросы или анкету в целом.

Общая модель интервью представлена в трехшаговой схеме, разбитой в соответствии с основным (тестируемым) вопросом и дополнительными (уточняющими – "почему Вы так думаете?" и "как Вы это понимаете?") вопросами (схема 1). Ответ на любой вопрос можно представить в качестве базового оценочного модуля, который может находиться в двух состояниях – активном и пассивном [25]. Активное состояние отражает адекватную реакцию, пассивное – воспроизведение респондентом собственного текста, связанного с вопросом лишь отдельными фразами или смыслами, определяемыми самим говорящим.

Первый оценочный модуль – "осмысленный ответ" – фиксирует вербальную реакцию респондента на основной вопрос. Второй оценочный модуль – "обоснование ответа" – это реакция респондента на дополнительный вопрос: "Почему Вы так ответили?". Третий – "понимание вопроса" – это реакция респондента на дополнительный вопрос: "Как Вы понимаете заданный <основной> вопрос?". Вербальная реакция на дополнительные вопросы признается адекватной, если респондент не отклоняется от темы основного вопроса.

Для первого модуля адекватной реакцией считаются однозначный ответ, ответ с комментариями или уточнение основного вопроса; для второго модуля – подтверждение ответа на основной вопрос или высказывание сомнений; для третьего – перефразирование вопроса или аргументация ответа. Операциональное представление оценочных модулей заложено в системе переменных, приведенной в Приложении 4.

Планируя эксперимент, мы предполагали, что включение в интервью дополнительных вопросов позволит выявить рефлексию респондента по поводу собственных ответов [8], а также получить смысловую интерпретацию основных вопросов. Однако если обоснование выбора ответа (на вопрос "почему?") следовало в 77% случаев, то объяснение смысла (содержания) предлагаемых суждений (на вопрос "как Вы понимаете заданный <основной> вопрос?") встречалось только в 24% случаев. По преимуществу респонденты продолжали аргументировать выбранную позицию, фактически отвечая на первый дополнительный вопрос. Причина кроется в том, что ситуация интервью не позволяет сторонам, участвующим в опросе, занять рефлексивную позицию, так как это требует выполнения непривычной коммуникативной роли (Различия между ситуацией интервью и обыденным разговором не раз привлекали внимание исследователей. Анализ обыденного разговора впервые наиболее полно был представлен Грайсом [12]. Анализ процесса интервью и его основные отличия от простых разговоров можно найти у Кэннела и Оксенберга [4], а также Садмэна и Бредбэрна [20].). Респондент не разделяет вопросы на основные и дополнительные, а рассматривает интервью как единый процесс.

Первый этап тестирования проводился в декабре 2000 года.

Два квалифицированных интервьюера в полевых условиях опросили 10 респондентов. Экспериментальная группа выровнена по полу (5 мужчин и 5 женщин). Два респондента имели высшее образование, у восьми – образование от неполного среднего до среднего специального. Все интервью записывались на аудиопленку и затем расшифровывались.

Тестируемые вопросы были составлены в форме альтернативных суждений (Приложение 1). В начале серии вопросов интервьюер делал следующие пояснения: "На карточке дана шкала, левая часть которой отражает степень согласия с первым суждением, а правая ее часть – степень согласия со вторым, противоположным суждением. С каким из этих суждений и в какой степени Вы согласны, то есть где на этой шкале размещается Ваша личная позиция?".

Респондент должен был выбрать суждение, с которым согласен, а также указать степень своего согласия. Для этого ему предлагалась карточка с семибалльной шкалой (Приложение 2). После ответа на основной вопрос интервьюер задавал два дополнительных вопроса (см. выше).

Второй этап тестирования проводился в январе 2001 года.

Всего на аудиопленку было записано 20 интервью, каждое из которых включало 12 тестируемых вопросов. В опросе участвовало 9 мужчин и 11 женщин. Шесть респондентов имели высшее или незаконченное высшее образование, четырнадцать – среднее специальное или ниже.

Для повторного пилотажа в основном выбраны вопросы, по которым получены приемлемые (максимальные) оценки адекватности при проведении первого пилотажного исследования. При этом формулировки, ранее вызывавшие у респондентов существенные трудности, были скорректированы (вопросы 2, 5, 9, Приложение 3).

Вопросы были размещены в конце стандартного еженедельного вопросника с включением следующего пояснения: "Теперь несколько вопросов о том, как должна быть устроена наша жизнь. Разные люди имеют разные представления – нас интересует Ваше личное мнение, оценка, позиция".

Перед началом опроса респондента предупреждали, что часть его ответов будет записываться на аудиопленку, что привело к росту числа отказов.

После основного вопроса интервьюеры должны были задать два дополнительных. Однако иногда они не делали этого, так как тестируемые вопросы располагались в конце большого интервью и респонденты не всегда были расположены к ответам на дополнительные вопросы.

Первый методический недочет тестируемых вопросов был очевиден уже на этапе прочтения расшифровок интервью – это использование семибалльной шкалы для вопросов о слабовыраженных установках (Приложение 2). Лишь в 7,5% случаев был получен полный ответ на столь сложный вопрос (В свое время Д. Дильман, анализируя анкеты, заполняемые респондентами в почтовых опросах, пришел к выводу, что респондентам трудно отвечать сразу на два вопроса, написанных в форме одного, и рекомендовал по возможности отказываться от подобной практики [9]. На примере данного эксперимента видно, что этот вывод в равной степени относится и к личному интервью, хотя более полная формулировка вероятных ограничений возможна лишь при дополнительном тестировании.). В остальных 92,5% случаев для выявления степени согласия респондента с выбранным суждением интервьюер был вынужден задавать дополнительные вопросы.

В ходе пилотажа выявлены и другие, не столь очевидные ошибки. Их исследование потребовало применения процедуры когнитивного анализа.

На первом этапе тестирования, отвечая на основной вопрос, 20% респондентов произносили собственный текст, лексически не связанный с семантическим заданием вопроса (схема 2).

Пока не представляется возможным оценить, насколько значимым является такой процент неадекватных ответов, так как исследование с подобным набором переменных проводится впервые. Однако можно предположить, что такое соотношение является довольно критичным, так как выбранный способ операционализации отражает самые грубые лексические несоответствия (Приложение 4).

Осмысленным ответом признается любой текст, проговариваемый респондентом, если при выборе варианта ответа сомнений не возникает. Причем респондент может менять свою точку зрения, вводить в речь немотивированные отступления от обсуждаемой темы (что фиксируется переменной "ответ с комментарием") или задавать уточняющие вопросы, говорить о полном непонимании смысла вопроса, в некоторых случаях отказываться отвечать и т.д. Такое вербальное поведение кодируется переменной "уточнение вопроса". В группу неадекватных ответов попадают лишь самые несуразные и неподдающиеся интерпретации случаи.

При кодировании понимания вопроса используются более жесткие критерии адекватности ответа. Сегмент неадекватных ответов (31%) составляют респонденты, которые не отвечают на вопрос прямо и не продолжают начатый ранее разговор по аргументированию выбранной позиции (схема 2). Прямым ответом на вопрос о понимании смысла суждений является их перефразирование, направленное на артикуляцию того, что подразумевается под каждым суждением. Так как данный ответ может быть воспроизведен лишь при выходе в рефлексивную позицию и требует дополнительной активизации когнитивных процессов, он встречается крайне редко. В данном случае неадекватность выражается уже не спонтанной речью респондента, как в переменных "осмысленный ответ" или "понимание вопроса", поэтому при кодировании мы использовали неальтернативные переменные (Приложение 4).

Речь респондента, не связанная с общим контекстом вопроса, кодировалась отдельной переменной "собственный текст", распределение которой показано на схеме 2.

Если респондент, отвечая на вопрос о понимании суждений, не пытался их перефразировать, не продолжал аргументировать выбранную позицию и не отклонялся от заданной темы, это означает, что он воспроизводил речевые акты, которые невозможно согласовать ни с одной из выбранных градаций. Такое вербальное поведение наблюдалось в 10% случаев.

Уже при первом рассмотрении результатов тестирования видна тенденция роста доли спонтанной речи при продолжении когнитивного интервью (схема 2). Можно выделить три причины последовательного роста неадекватности ответов.

Во-первых, увеличивается сложность семантического задания, и респонденты вынуждены активизировать собственный речевой запас.

Во-вторых, часть респондентов может выбирать ответы произвольно.

В-третьих, респонденты могут присваивать иные смыслы прозвучавшим вопросам – и на их основе строить собственный ответ.

Если первая причина роста неадекватных ответов отражает эффект опросного инструмента, который объективно присутствует при проведении любого интервью, то последующие – косвенно указывают на область ошибок и неточностей, допущенных при составлении вопросов, что и является объектом настоящего эксперимента.

На схеме 3 представлен граф совокупного ответа: в соответствие с тремя шагами когнитивного интервью показано количество адекватных и неадекватных ответов.

"Наиболее наполненным" является путь максимальной адекватности ответа, при котором респондент ни разу не отклоняется от семантического задания интервью. Хотя доля адекватных ответов по каждому вопросу достаточно высокая – 80% и более, – применение строгого логического оператора "И" к трем шагам интервью дает только 57% адекватных ответов. Из 160 адекватных ответов на основной вопрос 20 становятся неадекватными на этапе обоснования ответа и 15 – на этапе понимания вопроса, что составляет 26% от осмысленных ответов на основной вопрос. Конечно, данная цифра показывает верхнюю границу смещений. Нижняя граница определяется неадекватными ответами, полученными как на втором, так и на третьем шаге, и составляет 7%.

Таким образом, адекватные ответы на основные вопросы не гарантируют прохождение респондентом первых двух стадий когнитивного перехода: восприятие вопроса и вынесение собственного суждения.

Отклонение респондента от семантического задания основного вопроса не зависит от способа первоначальной коммуникации (однозначный ответ или ответ с комментариями и уточнениями). Причем на шаге "понимание вопроса" фиксируется меньшая независимость характера ответа от способа первоначальной коммуникации, чем на шаге "обоснование ответа".

Альтернативные суждения сформулированы таким образом, что респондент может давать однозначные ответы, даже не задумываясь над точным смыслом вопроса. При таком поведении респондента изменение формулировки вопроса не будет вызывать смещения, так как он не обращает внимания на детали [15]. Формальная адекватность ответа при этом сохраняется (В случае ответа с комментариями, инициируемыми уточняющими вопросами, возникает ситуация, которую Тодоров называет "эффектом разговора" [21]. В этом случае возможно взаимное непонимание или приписывание вопросу дополнительных смыслов, что может привести к заметным смещениям результатов опроса.).

Если респондент при ответе на основной вопрос начинает отклоняться от заданной темы, то вероятность того, что интервьюер сможет скорректировать разговор, снижается. Так, при обосновании ответа лишь в 37% случаев респонденты возвращались к заданной теме, а в последующем лишь в половине ситуаций (53%) они продолжали вести осмысленный диалог (схема 3).

Рассматривая граф совокупного ответа, можно увидеть, что наиболее наполненными и предсказуемыми являются пути максимальной и минимальной адекватности ответа. Для дальнейшего анализа тестируемых вопросов будет введена числовая характеристика двух путей как суммы ответов, расположенных на их протяжении. Так, путь максимальной адекватности совокупного ответа равен 411, а путь минимальной адекватности ответа – 83 (схема 3).

Остальная область ответов является менее предсказуемой, поэтому она будет анализироваться лишь как дополнительный инструмент для понимания общих тенденций.

В таблице 1 представлены номера тестируемых вопросов, расположенные в порядке возрастания пути максимальной адекватности ответа. Если путь максимальной адекватности нескольких ответов совпадал, то ранжирование производилось по пути минимальной адекватности ответа. Вопросы разбиты на четыре группы – в соответствие с уровнем адекватности получаемых ответов. Следует заметить, что подобное деление носит весьма условный характер и необходимо скорее для наглядности представления данных, чем для формулирования каких-либо выводов.

В правой части таблицы 1 показаны значения дополнительных переменных, которые относятся непосредственно к тексту вопросов. Предполагается, что респондент будет давать более адекватные ответы на вопросы об установках, если они касаются его частной жизни, часто встречаются в обыденных разговорах и не содержат абстрактных категорий. Далее, рассматривая таблицу 1, можно предположить определенную последовательность сочетания данных переменных, при которой должна снижаться адекватность получаемых ответов (схема 4).

Вопрос 20 (об отношении к Горбачеву), вопрос 18 (о прослушивании телефонных разговоров), вопрос 9 (о необходимости работать), вопрос 4 (о продаже земли) и вопрос 17 (о допустимости концентрации власти в руках одного человека) попадают в первую группу по адекватности ответов. Если посмотреть на графы ответов по этим вопросам, они также имеют одинаковую структуру, только в четвертом вопросе появляются неадекватные ответы на основной вопрос (Приложение 5). Хотя данные вопросы наиболее удачно сформулированы, некоторые изменения формулировок вполне оправданы.

К сожалению, в рамках настоящего эксперимента невозможно подтвердить или опровергнуть гипотезу о присутствии такой последовательности, поэтому остается руководствоваться лишь здравым смыслом и предположением, как если бы этот смысл оказался верным. Однако введение подобного предположения в совокупности с разработанной ранее теоретической схемой эксперимента позволяет анализировать формулировки отдельных вопросов (При этом необходимо оговориться, что вопросы анализируются без учета порядка их расположения, который может оказывать существенное влияние на адекватность восприятия. Полностью исключать из вопросника абстрактные категории – на основании типично низкой адекватности ответов – представляется неразумным, однако использовать их необходимо лишь с учетом контекста, включая в вопросник дополнительные комментарии, которые с успехом могут быть заменены конкретными вопросами. Так, Садмен и Бредбэрн советуют ставить общие вопросы перед частными, если оба типа вопросов связаны между собой [20. P. 121]. В то же время, если исследование проводится на темы, не явно затрагивающие интересы респондентов, в первую очередь следует задавать частные вопросы, а уже потом выяснять общую точку зрения, так как по второстепенным проблемам у респондентов может просто отсутствовать отчетливая общая установка [20. P. 210].) (Приложение 1).

Так вопрос 20 может быть сформулирован в одном предложении: "Как Вы считаете, если говорить в целом, Михаил Горбачев принес нашему народу больше пользы или вреда?" При этом прежняя формулировка почти полностью сохраняется, а вопрос становится более простым как для ответа, так и для кодирования, потому что он может быть оформлен с закрытием.

Вопрос 8 представляет собой своего рода казус: с одной стороны, по нему получены хорошие результаты, с другой – суждения построены таким образом, что нельзя приписать вопросу однозначные коды (Таблица 1). Последнее утверждение может свидетельствовать о том, что вопрос отсылает к разным объектам установки (При формулировании рекомендаций по написанию аттитьюдных вопросов Садмен и Брэдберн в первую очередь указывают на необходимость четкого определения объекта установки. Под объектом установки авторы понимают концепт, который должен быть выражен в операциональном определении [20].). Опасность корректировки такого вопроса заключается еще и в том, что установки, которые он отражает, носят несколько размытый и неустоявшийся характер. И при незначительном изменении формулировки такого вопроса могут быть получены совершенно неожиданные результаты (Описание эффекта размытости установок можно найти в статье Бишопа, Олдендика и Тучфарбера [3]. Концептуальные схемы и примеры экспериментов, направленных на изучение влияния размытых установок на эффект ответа, приведены в работах Бема [2], Конверсе [6] и Кросника [15].). Пока не найдены причины, вследствие которых ответы на этот вопрос не вписываются в разработанную теоретическую схему, целесообразно исключить его из списка, а в дальнейшем спланировать эксперимент, позволяющий интерпретировать полученные данные.

Вопросы 14, 10, 22, 21, 13 и 16 сформулированы таким образом, что получить на них адекватные ответы от людей неискушенных в политике очень трудно. Графы ответов на эти вопросы представляют собой разветвленные схемы с утяжелением нижней части, относящейся к области спонтанной речи (Приложение 5). Осмысленный ответ на эту группу вопросов получен в 67% случаев, обоснование ответа получено в 56%, понимание вопроса отмечено в 51% случаев. Только в 41% случаев респонденты давали адекватные ответы на протяжении всего обсуждения данных вопросов. Поэтому представляется разумным исключить эти вопросы из рассмотрения. Однако перед тем как это сделать, необходимо проверить, какие неточности в формулировках вопросов могут приводить к подобным результатам.

Возможно, вопросы 14, 22 и 21 не только относятся к общим политическим понятиям, по поводу которых респонденты, возможно, впервые выносят собственные суждения, но и представляют собой нетипичные для обыденного языка формулировки. Если респондент сталкивается с непривычными терминами, он, как правило, склонен придерживаться стратегии удовлетворения интервьюера, выбирая удобный и общепринятый вариант [13. P. 221]. До тех пор пока для этих вопросов не найдутся более приемлемые альтернативы, их необходимо исключить из дальнейшего тестирования. Хотя интервью и представляет собой особый вид коммуникации, нет особой необходимости злоупотреблять излишним дистанцированием от правил обыденного разговора. Более того, это может вызвать ощущение дискомфорта как у респондента, так и у интервьюера. Чтобы избежать этого, необходимо задавать новые вопросы таким образом, чтобы они не были неожиданными для респондента. Каждый вопрос должен быть логически связан с предыдущим – в таком случае респонденту будет легче мобилизовать необходимые когнитивные ресурсы и выстроить связные суждения. Кроме этого, снижается риск простого угадывания, которое может быть вызвано как утомлением, так и восприятием интервью как варианта определения правильных ответов.

Вопрос 10 (Приложение 1) составлен логически неправильно, так как он относиться к нескольким объектам установки, которые не могут выступать в качестве альтернативных суждений. Улучшение вопроса с сохранением предложенной формулировки не представляется возможным, поэтому необходимо выделить один объект установки и попытаться сформулировать релевантный ему вопрос. Второе суждение сформулировано более конкретно – оно может послужить исходным материалом для нового вопроса. Ошибочным в данном суждении является то, что при попытке определить установку в отношении помощи трудоспособным гражданам не принимаются в расчет государственные служащие и рабочие государственных предприятий. Чтобы уйти от увеличения объема вопроса, можно изменить саму его направленность – с общего представления о помощи на ее конкретное выражение: "Как Вы думаете, обязано или не обязано государство помогать трудоспособным гражданам в поиске работы?".

Вопросы 13 и 16 имеют один и тот же недостаток: они содержат категории, которые можно использовать лишь в экспертных опросах, предварительно уточнив понимание респондентом данных терминов ("политические свободы", "средства массовой информации"). При составлении вопросов об установках следует учитывать, что респонденты более склонны давать ответы, удовлетворяющие тем или иным мотивам, чем взвешенно оценивать альтернативы и выбирать оптимальное для себя решение [13. P. 215]. Можно сказать, что данные вопросы были просто недоработаны, и концепты, которые должны лишь подразумеваться при их составлении, были включены в формулировки. Поэтому улучшение этих вопросов возможно при подборе более привычных для респондентов категорий, описывающих изучаемый объект установки. Вопрос 16 может выглядеть следующим образом: "Должно или не должно государство запретить показ на телевидении эротических программ?".

После проведения второго этапа тестирования зафиксирован достаточно низкий процент неадекватных ответов на всех шагах когнитивной работы респондента. По переменным "обоснованный ответ", "обоснование ответа" и "понимание вопроса" уровень неадекватного вербального поведения респондентов примерно одинаков. По переменной "связанность речи" фиксируется несколько больший процент неадекватного поведения (схема 5).

Граф совокупного ответа (схема 6) отражает сетевое представление когнитивной работы респондента. Путь максимальной адекватности ответа, рассчитанный как сумма случаев адекватного поведения респондентов по всем трем переменным (105+180+208=493), является доминирующим. Это говорит о том, что в подавляющем большинстве случаев вопросы воспринимались респондентами адекватно и не вызывали затруднений. Путь минимальной адекватности ответа (4+9+32=45) меньше пути скорректированного ответа (10+19+32=61), что говорит о том, что при дополнительных вопросах респонденты возвращались к заданной теме.

Граф совокупного ответа

(Теоретически сумма адекватного и неадекватного вербального поведения респондента на каждом последующем шаге когнитивной работы должна быть равна величине предшествующего шага. Например, если осмысленный ответ был дан в 208 случаях, то последующее обоснование осмысленного ответа должно совпадать с этой величиной. На графе же видно, что осмысленный ответ обосновывался респондентами в 180 случаях и не имел обоснования 18 случаях, что в сумме составляет 198. Разница между 208 и 198, равная 10, составляет пропущенные данные. Большое количество пропущенных данных в данном эксперименте вызвано объективной причиной: серия тестируемых вопросов была поставлена в конец стандартного интервью, поэтому как интервьюер, так и респондент к этому времени утомились. Это привело к тому, что интервьюер либо забывал задавать дополнительные когнитивные вопросы, либо не делал это осознанно, чтобы поддержать дружеский характер беседы.)

Если рассчитать путь максимальной адекватности по каждому тестируемому вопросу, то можно заметить незначительные расхождения их значений (Таблица 2). Так, среднее значение пути максимальной адекватности – 48, при средне квадратичном отклонении, равном 5. Это показывает, что все тестируемые вопросы составлены примерно на одном уровне и попадают в первую группу (Группировка вопросов была введена в первой части эксперимента, где в первую группу входили наиболее качественно составленные вопросы, которые рекомендовались к использованию без внесения изменений в их формулировки.). Следовательно, с точки зрения корректности формулировок, все вопросы можно использовать для выявления либеральных установок. Критерием выбора вопросов в данном случае будет то, насколько хорошо каждый из них дифференцирует выборку.