fom.ru · Поиск ·      








18.10.2001, 

Рогозин Д. М. Подходы к тестированию аттитьюдных вопросов (16.02.2001) / Под ред. Д.М. Рогозина. М: Фонд "Общественное мнение", 2001

Семинар 2

Рогозин Д. М. Подходы к тестированию аттитьюдных вопросов (16.02.2001) / Под ред. Д.М. Рогозина. М: Фонд "Общественное мнение", 2001

Участники семинара:

Блехер Леонид Иосифович

Галицкий Ефим Борисович

Задорин Игорь Вениаминович, генеральный директор, Фирма «АДАПТ», исследовательская групп ЦИРКОН

Кертман Григорий Львович, к.и.н., начальник аналитического отдела, Фонд «Общественное мнение»

Климова Светлана Гавриловна, к.ф.н.

Косолапов Михаил Александрович

Кочеткова Инна Борисовна, аспирант, Институт социологии РАН

Магун Владимир Самуилович

Марчук Дмитрий Владимирович, консультант, IBS

Однакова Юлия Евгеньевна, MA Sociology, Московская высшая школа социальных и экономических наук

Ослон Александр Анатольевич, генеральный директор, Фонд «Общественное мнение»

Паниото Владимир Ильич

Петренко Елена Серафимовна, к.ф.н., директор по исследованиям, Фонд «Общественное мнение».

Рассохина Мария Владимировна, аспирант, Институт Социологии РАН

Рогозин Дмитрий Михайлович, консультант, Фонд «Общественное мнение»

Черняков Анатолий Аркадьевич, зам. аналитического отдела, Фонд "Общественное мнение"

Чесноков Сергей Валерианович, к.х.н., научный директор, КОНТЕКСТ

Чураков Александр Николаевич

Чуриков Алексей Владимирович

Ядов Владимир Александрович, д.ф.н., профессор

Крыштановский Александр Олегович, к.ф.н.

 

Петренко: Фонд «Общественное мнение» проводит второй методологический семинар. Мы собираемся обсуждать аттитьюдные вопросы. Докладчиком сегодня будет Рогозин Дмитрий Михайлович, который провел очень интересный методический эксперимент. В качестве оппонента или критика, мы пригласили Сергея Валериановича Чеснокова.

Я как-то надеюсь, что у нас образуется некоторая площадка, на которой, наконец-таки будут проводиться методические эксперименты. Прошло уже много лет с тех пор, как все мы стали заниматься исследованиями, а о методике, об измерении, об адекватности измерения так и не приходилось всерьез разговаривать.

И очень бы мне хотелось, и я на это сильно надеюсь, что дискуссия будет интересна не только нам, но и другим озабоченным методическими аспектами социологам, которым эту свою озабоченность и пристроить некуда.

Все, что сейчас будет происходить, записывается на диктофон. Это будет расшифровано и затем размещено на сайте фонда, поэтому убедительная просьба представляться, когда будете участвовать в дискуссии. И на этом я замолкаю, и передаю слово Диме.

Рогозин: Я предлагаю говорить в большей степени об аттитюдных вопросах вообще, а исследование, проведенное с моим участием, рассматривать лишь в качестве примера для нашего разговора. Я постараюсь говорить предельно коротко, чтобы не занимать время, которое пригодится для дискуссии.

Мое выступление состоит из трех частей:

Во-первых, я бы хотел сказать несколько слов об аттитюдных вопросах и о сложности работы с ними. Измерять мнения или установки пытаются не только социологи, но, даже в большей степени, психологи. Именно они предложили выделять две модели формирования установок: Первая – модель exe-шного файла или файлового образования. Предполагается, что установка у человека уже есть. Задача исследователя – лишь спровоцировать его рассказать о собственном мнении. Вторая модель, которая сейчас больше распространена, основана на том, что установки в принципе нет. Респондент в каждом конкретном случае вспоминает какие-то события, и в зависимости оттого, что ему пришло в голову, начинает воспроизводить ту или иную установку. Учитывая это, сразу становится понятно, насколько сильно будут зависеть ответы на аттитюдные вопросы от текущей ситуации опроса: последовательности вопросов, речи интервьюера, от каких-либо событий, в которых участвовал респондент и т.д.

Конечно, обе модели довольно известны и, может быть, не стоило на них заострять внимание. Однако для нас они важны не в качестве известных утверждений. Это лишь способ подойти к базовой, изначальной проблеме любого исследования: что же мы действительно измеряем, когда спрашиваем респондента о том, как он, например, относится к Путину? Или, например, задаем вопрос: «Скажите, пожалуйста, можно или нельзя правоохранительным органам по собственному усмотрению разрешить прослушивать разговоры граждан?» Один ответ был примерно таким: «Ой, конечно, нельзя разрешать – это полнейшее преступление... и просто преступление против прав человека». После паузы, которая длится секунды три, следует: «Но вообще-то, в Москву приезжает очень много приезжих. Вот зачем они приезжают? Снимают квартиры здесь. Вот что они здесь делают? Вот этих людей надо прослушивать. Вот приезжих надо прослушивать и тех, кто сдает квартиры тоже надо, потому что непонятно, зачем они сдают квартиры». И тут становится непонятным, как же кодировать такой ответ. И эта ситуация довольна типична. Если мы начинаем расшифровывать записанное на диктофон интервью, оказывается, что однозначных ответов - очень мало, как бы хорошо мы ни шлифовали вопросы. Заметьте, что в данном случае мы пытаемся измерить вполне конкретную установку. Это разговор ни о либерализме, ни о государственном устройстве. Давайте посмотрим на еще один вопрос: «Как Вы считаете, Горбачев принес нашему народу больше пользы или вреда?» Во время интервью возникает масса нюансов: человек говорит о пользе, потом вспоминает какой-то факт, связанный с собственной жизнью, и начинает отвечать совершенно по-другому. В неустойчивости, зависимости от контекста, вопросов об установках и заключается основная проблема. Это первая часть, в которой я хотел бы зафиксировать, что измерение установок и интерпретация данных не бывают однозначными и устойчивыми, как это может показаться при рассмотрении анкет. Никогда нельзя априорно утверждать, что обведенный в анкете ответ соответствует ответу, произнесенному респондентом.

Во-вторых, необходимо зафиксировать некоторые первоначальные положения, от которых можно будет отталкиваться в дальнейшем разговоре. Первоначальный факт любого интервью – это то, что интервью является коммуникацией или, если процитировать Чеснокова, обменом репликами. Этот факт трудно опровергнуть. Поэтому, если мы хотим понимать установки респондента, нам необходимо увидеть, что же происходит в процессе интервью. Эксперименты, которые ставились в недавнем прошлом, в которых сравнивались ответы на основании анкет, совершенно не отражают реальность, потому что не понятно, к чему относятся эти ответы. Ну, изменили мы немного формулировку вопроса. Соответственно изменилось распределение ответов. И что с этим делать дальше? Ведь мы остаемся в абсолютном неведении, что же происходило в коммуникации, которая и послужила основанием для заполнения анкеты. Мы рассматриваем заполненную анкету как если бы она была первичной реальностью или изначальным фактом, а в действительности – она лишь отражение коммуникации, причем не самое адекватное. Для понимания происходящего в процессе интервью, нам необходима реальная запись этого процесса, а не работа с анкетами - это основной вывод из первого положения.

Второй первоначальный факт заключается в том, что ни интервьюер, ни респондент, вообще-то, в процессе коммуникации, не понимают, что они делают. Они не могут являться экспертами своим словам и произносимым текстам. В этом месте помогает отсылка к Луману и к концепции аутопоэтической системы. Парадоксальный, но практически не опровергаемый факт: «коммуницировать может только коммуникация». Здесь нужен какой-то личный пример.

Прошлый эксперимент, который обсуждался на предыдущем семинаре, проводился в этой комнате. Я проводил интервью. Сидел буквально за этим же столом. Интервью записывалось на видеокамеру, а потом я же его расшифровывал. Так вот, когда я фиксировал ответы респондентов, у меня не возникало никаких вопросов. Мне казалось, что я четко понимаю, какой вариант ответа обводить. Когда же я стал просматривать запись, то пришел в ужас, потому что я не понимал на каком основании, я, в качестве интервьюера, отмечаю кружочком тот или иной ответ. Для меня это было не понятным как кодировщику, когда я смотрел на себя в экран телевизора. И это происходит повсеместно. Глупо объяснять данную ситуацию неподготовленностью интервьюера или плохой подготовленностью респондента. Видимо, нам удалось зафиксировать объективную ситуацию интервью как процесса коммуникации, понимание которого нельзя требовать от его участников. Это второй факт и я его еще раз зафиксирую: участники коммуникации не понимают то, что происходит, и, более того, реально не коммуницируют.

Третий факт заключается в следующем: если мы хотим что-нибудь понять, безразлично будет ли это общество или тестируемые вопросы, нам недостаточно быть наблюдателями, анализировать те или иные ситуации, классифицировать ошибки и т.д. Нам нужен специальный инструмент, чтобы увидеть реальность, сделать ее доступной для анализа. Этот факт легко найти в личном опыте: когда перед вами лежит пачка расшифровок, то просто скользишь глазами по тексту, в принципе, ничего не видишь, пока не разработана система индикаторов, которые позволяют уже предметно увидеть проблемное поле, буквально его сформировать. При этом недостаточно руководствоваться лишь здравым смыслом. Необходимо воспроизвести такую базовую операцию как счет.

Здесь возникает один нюанс, который мне хотелось бы затронуть. Он заключается в следующем: люди, занимающиеся качественными методами, обычно утверждают, что нет смысла считать количество возникновения той или иной проблемы, как бы производить счет, если мы ее уже увидели. Факт идентификации проблемы требует ее решения, а не подсчета того, сколько раз она проявляется в той или иной реальности. Вся необходимая информация уже дана нам при первом обнаружении проблемы. Такой ход рассуждений очень часто используется, при обосновании распространенного в мире, в частности в Великобритании, метода – анализа разговоров или conversational analysis.

Заметьте, однако, что когда производится счет, то он нужен не для того, чтобы посчитать или составить какое-нибудь распределение, а для того, чтобы ввести новые различения и попытаться это распределение как-то дифференцировать.

Итак, перечислю еще раз первоначальные положение или факты: Первый - коммуникация или обмен репликами есть основной предмет анализа. Второй – в процессе интервью его участники не понимают, что происходит, и не могут выступать экспертами коммуникации, в которой участвуют. Третий – для анализа коммуникации необходим инструмент, основанный на процедуре счета, которая выступает условием любого понимания. Таким инструментом в любом социологическом исследовании будет выступать система переменных, задающих пространство признаков исследуемого объекта.

И, наконец, в заключительной части выступления я хотел бы обсудить, одну проблему, связанную с разработкой и использованием такого инструмента. И сделать это на примере проведенного ранее пилотажа вопросов об установках.

В январе месяце перед нами стояла задача протестировать вопросы о либеральных установках. В качестве подхода для тестирования был выбран когнитивный анализ, что потребовало разработать систему переменных, отражающих мыслительные процессы. Детали этого эксперимента описаны в тексте, который вы получили перед семинаром. После завершения тестирования и написания рекомендаций были внесены значительные изменения в вопросы, что потребовало повторного проведения теста. Например, если в первом случае вопрос был сформулирован в виде двух альтернативных суждений: «первое суждение: Горбачев принес нашей стране больше вреда, второе суждение: «Горбачев принес нашей стране больше пользы», то во втором – суждения были совмещены в одном вопросе: «Как Вы считает, принес Горбачев больше пользы или вреда?» Мы решили, что повторное тестирование можно проводить с той же системой переменных. Согласно теоретической схеме эксперимента, кроме тестируемого вопроса интервьюер должен был задавать два дополнительных: первый – «почему» и второй – «как Вы понимаете этот вопрос». Формулировка в этих вопросах не имеет значения, так как нами они рассматривались в качестве exe-файлов, которые должны подтолкнуть респондента к дальнейшему разговору, мобилизовать его когнитивные ресурсы. Однако второй эксперимент мы решили немножко улучшить и проводили его не в рамках специального интервью, а как часть еженедельного опроса «ПЕНТА». Результаты получились хорошими, но там есть одно «но», которое очень важно зафиксировать. Очень много раз интервьюер пропускал дополнительные вопросы. Соответственно, в массиве данных появились пропуски, что существенно снизило качество работы и поставило под вопрос возможность сравнения результатов двух экспериментов.

В чем же тут проблема? Интервьюеры плохо работали, или не было нормального инструктажа? Если бы... Проблема же в том, что интервью и без тестируемых вопросов было достаточно большим. Во-первых, устал как интервьюер, так и респондент. Во-вторых, от интервьюера требуется не только следовать формальной процедуре, но и поддерживать дружеский характер разговора.

Этот пример говорит о том, что любой нюанс, изменяющий контекст интервью, сходу ломает предполагаемую объяснительную модель, требует введение новых переменных. Таким образом, каждый раз при решении определенной задачи нужно разрабатывать новую систему индикаторов, а это и головная боль, и очевидная проблема для любого исследователя.

Итак, если отвлечься от данного эксперимента и говорить о тестировании аттитьюдных вопросов, то мы должны зафиксировать следующие два момента: Во-первых, для качественного представления того, что происходит в процессе интервью, нам необходимо смотреть на тексты ответов, а пометки, сделанные интервьюером в анкете. Во-вторых –недостаточно смотреть глазами, нужно привлекать определенный методический аппарат, для того чтобы увидеть те закономерности, которые возникают в процессе интервью. Это все. Спасибо.

Петренко: Вопросы к докладчику?

Чесноков: У меня вопрос. Можно?

Петренко: У меня такое предложение, Сережа: Сначала аудитория, мне кажется, пусть задаст вопросы, а потом ты... задашь вопросы и сам же на них ответишь... Еще у кого-нибудь есть вопросы?

Ядов: Да вопросов полно, конечно... у меня такой общеметодологический вопрос. Вообще-то говоря, сознание респондента туманно. И мы хотим его превратить в отчетливую, хорошую, когнитивно стройную такую картинку. А ее нет просто. Вот не приходило это в голову? Разумеется, такая проблема есть. Как Вы ее решаете? На самом деле, вот возьми этого умного человека – ведь у него пули в голове. Он сам не знает, как относиться к Горбачеву, Путину. С одной стороны, Путин, вроде, жмет там, кого-то выгоняет. С другой стороны – а как же еще? Надо же порядок все-таки наводить. Короче, вопрос ясен? На самом деле, в голове у респондента каша какая-то. И что же мы хотим из каши получить?

Рогозин : Я только могу Вас поддержать. Для меня это – головная боль вообще. Она связана вот с чем: к сожалению, Фонд «Общественное мнение» задает те вопросы, которые респондентам не интересны. В том плане не интересны, что им гораздо ближе говорить о семье, о своих текущих проблемах, о детях, о взаимоотношениях с соседями или друзьями – о том, что составляет их жизнь. И им совсем не интересно говорить о Горбачеве или Путине. Очень мало людей...

Петренко: 50%.

Рогозин: ... включено в этот контекст. Постоянно фиксируется, что политические установки - очень слабые, очень размытые. И с этим я не знаю, что делать.

Ядов: Да ничего не делать!

Рогозин: Другое дело, что если бы мы пытались наложить некую структуру на сознание респондента, навести порядок в его голове, то это было бы некоторым родом насилия, что ни в коем случае допускать нельзя. И ответ в данном случае только один: надо каким-то образом менять структуру наших вопросов, делать методы исследования более гибкими. Например, явно включать в вопрос вариант «затрудняюсь ответить», а не подталкивать респондента к выбору между двумя альтернативами. Хотя здесь не может быть готовых рецептов. В общем, это трудная задача. Над ней надо думать.

Ослон : А можно эту тему продолжить... или сначала вопросы?

Петренко: Вопросы. Владимир Ильич...

Паниото: Владимир Ильич: Может быть, это тот же самый вопрос, который Ядов задавал. Вообще...

Ядов: Владимир Александрович, а не просто так... Ядов.

Паниото: Владимир Александрович...

Ядов: Он – Владимир Ильич, а я – Ядов. (Смех в зале)

Паниото: Меня однажды по телевизору показывали: меня вырезали, но другие говорили: «Как сказал Владимир Ильич...»

(ОБЩИЙ СМЕХ)

Косолапов: Зовите меня просто Ильич, да?

Петренко: Вопрос-то в чем?

Паниото: Вопрос в том, ставили ли Вы задачу определения адекватности понимания, адекватности ответа на вопрос? И существует ли вообще всегда адекватность? Можно ли сказать, что этот ответ - адекватный или не адекватный? В социологии музыки была выполнена работа, в которой ставился вопрос: «существует ли адекватность в понимании музыки?» Вот существует ли здесь адекватность?

Косолапов : (?)

Петренко: Косолапов Михаил Александрович.

Косолапов: Удачный вопрос. Скажите, пожалуйста, как Вы считаете вообще, что мы хотим получить, задавая, так называемые, как Вы их называете, аттитюдные вопросы? Либо мы хотим получить тот поток сознания, который иногда нам демонстрируют респонденты, особенно когда у них нет того, что называется «ярко выраженной установкой». Или мы хотим сформулировать некий вопрос, который будет одинаково восприниматься всеми, по крайней мере, большей частью населения, и получить нечто, отличающееся от этого потока сознания. Можно выбрать две стратегии исследования и дальнейшей работы. А то, что Вы сказали по поводу вопросов, у которых установка не выражена...

Петренко: Вопросы, Миша, - не обсуждение...

Косолапов: Это еще не обсуждение. Просто я бы сказал, что большинство этих вопросов, которые Вам не нравятся, - и правильно не нравятся, мне они тоже не нравятся, - они экспертные. Они заданы не той аудитории и это не имеет отношение к теме Вашего доклада. Это другое. Поэтому я бы снял просто эту позицию, потому что она уводит в сторону.

Рогозин: Я сначала отвечу на первый вопрос - по поводу адекватности. Эксперимент с вопросами о либеральных установках был полностью построен на переменных, отражающих адекватность. Я вкратце скажу, как он был построен. После основного вопроса задавалось еще два дополнительных. И по каждому вопросу оценивалось, насколько адекватно респондент отвечает на вопрос. По первому вопросу - основной вопрос - переменная могла принимать следующие значения: отвечает однозначно, отвечает с комментариями, задает вопросы на уточнение – это все адекватный ответ. И последнее значение – говорит собственный текст, что маркируется как неадекватный ответ. Точно так же обстоит дело с другими переменными, немного отличаются лишь коды. Так, если при ответе на второй вопрос – «почему», респондент дополняет первоначальный ответ или начинает сомневаться в первоначальном выборе –адекватная реакция, если произносит собственный текст – неадекватная. Однако, заметьте, что, в данном случае речь идет не об «адекватность респондента», а об адекватности ответа прозвучавшему вопросу. Что это значит? Здесь нужен пример. Если, допустим, я спрашиваю: «Как в целом Вы относитесь к Путину – хорошо, плохо или безразлично?», и респондент отвечает: «нормально», то этот ответ не адекватен вопросу. Но вообще-то реакция респондента всегда адекватна, изначально адекватна, потому что мы же приходим измерять, а не трансформировать его реакцию. Это очень важно зафиксировать. Вообще то адекватность – очень плохая переменная, потому что во многих случаях она требует экспертной оценки. И по возможности я всегда стараюсь от нее отказаться, заменить другими переменными: движение головой, сцепленные пальцы, прерывает вопрос и т.д.– все что подается четкой фиксации. Но, к сожалению, не получается полностью отказаться от адекватности, поэтому введение этой переменной – вынужденная мера.

Теперь – что хотим получить. Мне кажется, это все-таки другой вопрос. Что хотим получить? Не знаю. Не знаю, что хотим получить. Здесь, наверно, надо отсылать к разработчикам вопросов. Когда мы анализируем схему опросной коммуникации, то, понятно, на первом этапе у нас стоит программный вопрос, а уже потом анкетный или коммуникативный. Но когда я проводил тестирование – и это было условием чистоты эксперимента – я к программному вопросу вообще отношения не имел, я его не знал. Это... может быть, и жульничество в некоторой степени, но оно мне кажется оправданным. Если вы собираетесь тестировать вопросы, то можно и не знать, для чего они написаны, потому... Я просто договорю...

Косолапов: Я молчу.

Рогозин : Потому что для меня была важна корректность формулировки, а не содержания. На содержание и на смысл вопросов я вообще не смотрел, хотя это спорно. Я просто это проговорил и сразу вижу, что это спорно. Но, с другой стороны, кажется, что в этом направлении есть что-то стоящее: работать только с формами и отказаться от понимания смыслов, поскольку кто его знает, действительно, что там в голове у респондента, когда со своей головой не разберешься.

Ядов: Можно задать вопрос Мише Косолапову?

Петренко: Можно задать.

Ядов: Вот ты говоришь, что эти вопросы надо экспертам задавать. Это в том смысле, что люди некомпетентные или вопросы слишком сложные?

Косолапов: В данном случае я говорил о некомпетентности, потому что составлено огромное количество вопросов, типа: «Как нам нужно распределить доходы страны для того, чтобы она двинулась вперед?»

Петренко: Еще есть вопросы?

Задорин: У меня к Владимиру Александровичу вопрос.... Владимир Александрович, а Вы, действительно, думаете, что таким образом разработчики пытаются понять, осознать, точнее, померить сознание одного конкретного человека? Я хотел бы тут Дмитрию тоже задать вопрос...

Ядов: (разводит руками)

Задорин: Нет? Слава Богу! Значит, вы говорите «нет». Все, я получил ответ. Владимир Александрович, спасибо.

Ослон: Можно мне вопрос задать? На самом деле, я хочу кое-что сказать, но поскольку надо вопросы задавать, я сразу спрошу. Согласитесь ли Вы с моим следующим утверждением?

(ОБЩИЙ СМЕХ)

Ослон: Итак, надо как аксиому принять, как мне кажется, что в голове у респондента полный туман. Иногда он более густой, иногда он более редкий. Если его спрашивают о семье, то кажется, что он в этом вопросе эксперт, и поэтому его ответ адекватен. Хотя на самом то деле, это тоже большой вопрос – как он там разбирается в своей семье или со своими повседневными проблемами. Поэтому аксиомой является, что там - туман. Спрашивается (в данном контексте): зачем нужен этот эксперимент? Правильно ли я понимаю? Есть вопросы, которые «шумят», т.е. одновременно с ответами на вопросы возникает большой «шум», связанный не с тем, что там туман, а с тем, что так вопросы сформулированы. Весь эксперимент, на самом деле, состоит в том, чтобы найти такие форматы вопросов, чтобы «шум» в терминах индикаторов, которые разработаны, минимизировать. А что касается тумана - тема эта совершенно другая. Правильно?

Косолапов: Правильно, Саша. Почти вопрос, который я задал. Только другими словами... практически то же самое.

Рогозин: Позвольте мне разбить этот вопрос на два. Что касается задачи эксперимента – да, действительно, такая, поскольку это пилотажное исследование. Какая еще там задача, как не анализ формулировок вопросов? И задача предельно ясна, поэтому я результат предельно ясен. Вопросы получились лучше, в том плане, что меньше стало там спонтанной речи, ответы стали более осмысленными, понятными и т.д. – значит, и формулировки составлены лучше. И все, эксперимент закрыт.

Ослон: Стало меньше «шума», да?

Рогозин: Да. Теперь по поводу тумана в голове – это большой вопрос. Какой там туман? В начале я сказал о двух моделях измерения установок. Допустим, мы придерживаемся второй – считаем, что установок вообще нет, они каждый раз формируются заново. Отвечая на вопрос, респондент вспоминает какие-то факты, , потом на основании этих фактов вырабатывает суждения и формулирует свой ответ. Понятно, что речь спонтанна, и ее приравнять к литературной речи нельзя – там много междометий, много фоновой лексики – такова природа речи. Если и есть туман, то он заложен в форме самого вопроса, потому что и у эксперта будет такой туман. Спросите эксперта: «Горбачев принес нашей стране больше пользы или вреда?» - он тоже начнет Вам рассказывать о совершенно противоположных вещах: расскажет об антиалкогольной кампании, расскажет о прессе что-то и т.д. Эксперт в этом смысле ничем не отличается от обычного респондента - он точно так же не даст однозначного ответа, поэтому с туманом надо как-то осторожней...

Ослон: Все, что было сказано, только подтверждает, что туман присутствует даже у экспертов. Надо, пожалуй, отделить тему нашего разговора от «тумана». Наша задача – минимизация «шума», который порождает интервьюер, независимо от респондента.

Косолапов: Я переформулирую. Есть две ситуации (я говорю об идеальных ситуациях): есть ярко выраженная установка по отношению к чему-то, и есть несформированная установка. В первом случае мы можем, наверное, так переформулировать вопрос – с помощью эксперимента, с помощью еще чего-то – что он всеми (что очень важно) нашими респондентами будет восприниматься более-менее одинаково. И тогда в результате эксперимента мы можем сделать некий вопрос, который что-то будет мерить хорошо, содержательно, осмысленно. Если же установка не сформирована, то все наши изменения формулировки вопроса, все наши усилия как бы уходят в песок. Следовательно, это как бы две разные задачи, и решать их можно только, выбирая первую ситуацию. Вторая – не имеет решения. Либо она должна решаться другим способом, другими методами.

Ядов: А можно Вам задать вопрос? Это требует ответа?

Косолапов: Нет, я не знаю, как он думает. Я считаю, надо послушать - человек работал с этими вещами.

Петренко: Да, сейчас все-таки ситуация вопросов.

Ядов: Я хочу задать вопрос шефу... Вашему.

Петренко: Задайте, пожалуйста.

Ядов: Когда Вы говорите, туман... шумы. Какие шумы Вы имеете в виду? Я уточню. В системе «шумы» – это значит две вещи: или там неясные связи и нет прозрачности внутри самой системы – этот туман несчастный. Или нам не понятно, что из нее исходит, какая информация... мы не можем понять информацию, мешают какие-то нюансы. Что вы имели в виду – нам надо прочистить, прояснить, чтобы понять однозначно, что он хотел сказать? Что за шум нам на выходе дает респондент?

Ослон: Исследователь фиксирует некоторую переменную, которая, как он считает, измеряет «шум». Например, число покачиваний головой, или число ненормативных слов, произнесенных респондентом при ответе. Это индикатор. Почему-то исследователь решил, что эти индикаторы фиксируют неадекватность в том смысле, что респондент отвлекается от существа и выдает что-то другое. Значит, при одной формулировке достаточно высокий уровень «шума», при другой – гораздо меньше. Сам по себе туман никакого отношения к теме нашего разговора не имеет.

Петренко: Еще есть вопросы? Маша Рассохина.

Рассохина: Можно я? Мария Рассохина. Я позволю себе прицепиться к Диминой оговорке. Когда он говорил, как выбираются переменные и как формируется список переменных, по которым тестируются вопросы, он сказал, что каждый раз, в зависимости от ситуации выбирается свой собственный набор переменных и, хуже того, между ними каждый раз переустанавливаются связи. С другой стороны, Дима говорит, что одновременно мы должны изучать формы. Можно ли говорить о том, что мы, каждый раз переустанавливая связи между переменными, выбирая новые переменные, можем изучать эти формы? Второй вопрос заключается в том, можно ли говорить о какой-то сопоставимости разных экспериментов, или это эксперименты, просто касающиеся конкретных ситуаций, и ничего общего между ними нет? В связи с этим вопрос: можно ли говорить все-таки о каком-то наборе устойчивых переменных для тестирования разных ситуаций, разных вопросов? И четвертый вопрос: вообще ставилась ли такая задача? Может ли быть поставлена такая задача? Скажем, какой-то, ну, не знаю, универсализации процедуры, что ли.

Рогозин: (пауза) Не знаю. (Смех в зале) Это на первый вопрос. (ОБЩИЙ ГРОМКИЙ СМЕХ) И еще четыре раза – не знаю.

Петренко: Сергей Валерианович, пожалуйста.

Чесноков: По-моему, Дима говорил не о том, о чем ему задали вопрос - у меня такое ощущение. Когда он говорил о том, что разные наборы переменных. Он не говорил, наверно, что имеется в виду под каждый вопрос надо набирать новые переменные. Он говорил о задачах, типах задач. Под разные типы задач – действительно, необходимо составлять свой набор переменных. И говорил он о другом –существует некая конечная совокупность вот этих индикаторов, из которых под задачу можно набирать подгруппу, правильно я формулирую?

Рогозин: Похоже, что правильно

Чесноков: Это очень хорошо, если это так.

Рассохина: Насколько я представляю, когда речь идет о когнитивных методах тестирования, мы тестируем, собственно, не содержательную задачу, а тот самый процесс коммуникации, тот самый обмен репликами, а он универсален. И можно ли говорить о том, что мы найдем такие устойчивые переменные, которые позволяют всегда...

Рогозин: Проблема заключается в том, что переменные, когда они формируются, привязаны к эксперименту не тем, что они описывают только этот эксперимент. Они будут работать на любом другом эксперименте – иначе, зачем такие переменные разрабатывать. Но они привязаны к процедуре эксперимента. И в данном случае, когда я приводил пример с другим экспериментом, мы изменили процедуру, и поэтому для этих переменных не осталось в нем места.

Рассохина: Вот мой последний вопрос: можно ли ставить задачу о сопоставимости этих экспериментов, и если можно, то как это сделать, грубо говоря? Какой путь здесь может быть?

Рогозин: Мне понравилось отвечать: я не знаю.

Ядов: Зачем сопоставлять то их? Речь идет о тестировании, о возможности добиться адекватных ответов, о понимании и т.д. Зачем сопоставлять отношение к Горбачеву, к Чечне и черт знает к чему?

Рассохина: Дима говорит сам, что нас не интересуют частные ситуации, он говорит о подходах к тестированию вопросов. Я его так понимаю. Вот я и хочу услышать, как можно из этих экспериментов... Он не может ответить на вопрос, есть ли у него...

Ядов: Общая методология...

Рассохина: Да, способ сопоставить все-таки эти эксперименты. Может быть, еще не исчерпано все поле этих переменных. Если провести ряд, экспериментов, будет ясно, какие переменные более или менее устойчивы. Их можно применять во многих случаях. Вот о чем речь.

Голос из зала: Можно спросить кого-нибудь?

(ОБЩИЙ СМЕХ)

Петренко: У Димы пока все спрашивают.

Косолапов: Мне кажется, что здесь подняли три большие темы. Первая тема связана с вопросами об установках. Как с ними работать? Тема может быть теоретической. Вторая – это обсуждение совершенно конкретного эксперимента, совершенно конкретной методики. И это тоже большая тема – обсуждать такую методику. И третье, что было затронуто в конце выступления. Я не знаю, заметил ли это кто-нибудь, что существуют два разных подхода к методическим экспериментам в этой области. Первый – специально организованные методические эксперименты на контрольных группах, направленные на решение определенных задач. И второе – это включение эксперимента в массовое исследование, где возникают свои проблемы. Как Вы правильно сказали там не договаривают слова и прочее. Это тоже третья большая тема о путях проведения такого рода эксперимента. Что мы будем обсуждать? Потому что, на самом деле, три громадные по своему охвату темы. Нам надо на чем-то сосредоточиться. Иначе...

Петренко: Дима, на чем мы сосредотачиваемся?

Рогозин: У меня есть предложение: заслушать оппонента. Он и поставит точку.

Петренко: Подожди! Оппонент споет свою песню. Еще есть вопросы по содержанию? Галицкий.

Галицкий: У меня вопрос в развитие последнего выступления. Простой вопрос: что делать Вы рекомендуете... в нашей практической жизни... когда каждую неделю идут опросы? Что вообще надо делать?

Голос из зала: Здесь нельзя отвечать «не знаю».

Рогозин: Ничего себе простой вопрос. Но ответ на него, слава Богу, есть: если Вы не можете протестировать вопрос - у Вас нет ресурсов и времени, еще чего-то не хватает – то вопрос задавать не надо. Лучше не задавать вопрос, чем задавать не оттестированный...

Ядов: А кушать-то надо...

Петренко: Кушать надо.

Галицкий: А «тестирование» – это что значит? Хотелось бы увидеть реальную процедуру все-таки.

Рогозин: На этот вопрос тоже есть ответ. Эту процедуру нужно разрабатывать. Можно привести следующий пример. Когда мы проводили первый эксперимент, то вначале вчетвером кодировали один вопрос целый день, потом все пошло немного быстрее. Но все же на всю кодировку ушло две с половиной недели.

Косолапов: Вы не кодировали, вы кодификатор создавали, на самом деле.

Рогозин: Нет, кодификатор был создан раньше. Мы кодировали.

Петренко: Сначала создали, Миша, кодификатор, а потом кодировали.

Рогозин: Кодировка сама по себе достаточно сложная – надо же распознать не всегда очевидные реакции. Когда был проведен второй эксперимент, то кодировка заняла всего четыре дня. Конечно, было меньше переменных, меньше объем массива и т.д. Но концептуально поставленная задача решена как в первом, так и во втором случае. Следовательно, мы получили хорошее продвижение в работе. Если мы добьемся...

Голос из зала : Скоро весь эксперимент за 10 минут делать будете.

Рогозин: Нет, за десять не будем. Но если на кодирование будет уходить день, то это вполне приемлемо, я думаю. Задача состоит в том, чтобы подобрать устойчивые и хорошо дифференцирующие выборку переменные. О чем, может быть, косвенно говорила и Маша.

Ослон: Еще один вопрос. Превращается ли по мере проведения экспериментов специалист – Вы, конкретно – в эксперта, которому через какое-то время уже экспериментов и проводить не надо, поскольку он сможет без проведения эксперимента предугадать его результат достаточно точно?

Рогозин: Я бы ответил: нет, не превращается.

Ослон: Тем не менее, опыт какой-то набирается? Т.е. будет ли такая ситуация, когда Вы получите вопрос и до проведения эксперимента скажете: «Я примерно получу вот то-то», проведете эксперимент, и окажется, что, действительно, так?

Рогозин: Я вот как попробую ответить на этот вопрос. Бредбэрн, который сейчас входит в директорат крупнейшей исследовательской организации – National Opinion Research Center, однажды сказал примерно следующее: «Я занимаюсь тестированием вопросов 30 лет, и мне ни разу не удалось написать хороший вопрос со второго раза». Поэтому без тестирования все равно не обойтись.

Петренко: Наука – серьезное занятие. Еще есть вопросы?

Ядов: Тогда законный другой вопрос: если Вы говорите, что Вы не становитесь таким экспертом, то почему эти восемь женщин или, там, мужчин лучше, чем один Вы? Вы же взяли всего восемь человек...

Рогозин: Десять

Ядов: А, ну,10. О! (разводит руками) Так чем это лучше, чем Вы один? И это вопрос не на засыпку. Вы методологию отрабатываете. Может и четырех человек достаточно или того меньше? Ослон ведь задал очень умный вопрос. У Вас, в конце концов, накапливается большой опыт, и Вы чувствуете, что тут два...

Рогозин: Владимир Александрович, в данном случае количество респондентов нас не очень то волнует, ведь объект исследования у нас – их ответы. И если попадутся два умника, которые наговорят нам огромный массив и мы посчитаем, что эти данные вполне приемлемы для анализа, то можно ограничиться и двумя респондентами. А если уж так не хочется тратить время на тестирование, то есть и другой совет от Брэдберна и Садмена: если хотите задавать хорошие вопросы, занимайтесь плагиатом, т.е. списывать вопросы гораздо лучше, чем сочинять. Хотя и здесь без минимального тестирования не обойтись.

Косолапов: Это было давно, когда создавалась советская социология семьи, на протяжении 25 лет, из исследования в исследование переходили такие вопросы, как... есть ли у Вас соседи, с которыми Вы не живете? (общий смех) Задавались вопросы: если Вы поссорились с женой (мужем), кто из Вас мирится первым - Вы, жена, идете друг другу навстречу? И это великолепно гуляло везде, и все было нормально. А где-то...

Петренко: Зато все сопоставимо было.

Косолапов: А где-то в 83 году я провел эксперимент...

Петренко: И все испортил...

Косолапов: ... и выяснил, что когда эти вопросы задаются в открытом виде, то логика рассуждения людей совершенно другая. Они рассуждают: тот, кто не прав, тот, кто больше любит.

Петренко: Так Дима про это и толкует.

Косолапов: Дима говорит о том, что берите обкатанные вопросы. Это очень опасно.

Паниото: Я хотел сказать по поводу того, что мы обсуждаем. Это ответ, скорее, на вопрос Миши. Если мы беремся рассуждать об установках, то где-то есть, если говорить вообще, проблема валидности вопросов, где-то есть конечный этап – для чего это нужно. И, с одной стороны, мы можем говорить, что мы изучаем вообще природу человека и т.д. Это очень сложный вопрос, я так понимаю, мы его не будем обсуждать. Все-таки установки изучаются для того, чтобы потом что-то прогнозировать. Если в голове у респондента каша, но он идет на выборы и голосует, то нам вообще не нужно тестировать вопросы – мы тот идиотский вопрос, который сформулирован в бюллетене включаем в анкету, и...

Петренко: Только нет тут установки. Одно поведение.

Паниото: Установки тут нет... Только как он эту кашу изложит...

Голос из зала: Но это проблему не решает, потому что есть такая вещь, как контекст ситуации, которая вообще смещает все...

Паниото: Есть некоторая сложность, связанная с контекстом. Но вам не будут давать заказы, если вы не скажете к чему приведут эти установки. Я так понимаю, что есть адекватность поведению – это то, что интересует заказчика... что, кроме этого, есть адекватность, о которой Вы говорили, как бы внутренняя, безотносительная к конечной цели и задачам. И вот мы будем обсуждать эксперимент, который связан с этой адекватностью. Это и должно задавать рамки нашего обсуждения.

Чесноков: Я хочу один вопрос задать.

Петренко: Ну, один задай.

Чесноков: Мой вопрос такой: Дима, а действительно исследуемым вопросам, которые вот изучались в этом исследовании, им предпосылалась задача, ради которой эти вопросы задавались? У меня сложилось такое впечатление, Дима, что у Вас вопросы исследовались сами по себе в рамках некоего свободно понимаемого дискурса с респондентом, который определяется только тем, как организуется сценарий интервью. Ведь любая анкета – это сценарий коммуникации, жесткий сценарий по жесткой схеме. И вот только в рамках этой схемы шел дискурс. А задача как-нибудь фиксировалась? Как некая исходная точка, по отношению к которой строился процесс интерпретации вот этих результатов?

Рогозин: Я коротко отвечу, что вообще это исследование было разбито на две части. Я закрывал методическую, направленную на тестирование качества написания вопросов – ровно то, что мы здесь обсуждаем. А другая часть была содержательной: для чего эти вопросы задавались, и какие концепты за ними стоят. Но я думаю, это не нужно здесь обсуждать.

Косолапов: М. Насколько корректно я понимаю вопрос Сережи... разве это можно разорвать?

Петренко: Как оказалось, можно. Можно. Я в этом очень сильно сомневалась. Но мы увидели, что такой разрыв конструктивен и полезен. Прежде, чем...

Ослон: Это уже выступление.

Чесноков: Давайте тогда, я скажу...

Петренко: Хорошо. Теперь выступление оппонента.

Чесноков: У меня возникла ассоциация в связи с Вашей, Саша, репликой в отношении того, что сказанное Димой только подтверждает присутствие тумана даже у экспертов. Есть такая книжка «Новеллино». Это итальянские новеллы добоккаччевского периода. Там есть такая маленькая новелла. Мессир Тадеуш из Болоньи, читая лекции по медицине, говорил, что если 10 дней подряд есть баклажаны, то сойдешь с ума. Через 10 дней к нему приходит его студент и говорит: «Мессир, я 10 дней ел баклажаны и, как видите, в здравом уме». С этими словами он оборачивается к мессиру и показывает ему зад. «Это, - ответил мессир, - только подтверждает действие баклажанов», - и велел сделать новую сноску в комментариях. Но это шутка.

Я чувствую, что мне придется оппонировать в какой-то мере и Вам, Дима, и залу. Ну, может, это удачная ситуация для дискуссии. Здесь прозвучало, что сознание респондента туманно. Моя точка зрения, что туманно сознание социолога, если он так утверждает. Это первое.

Второе. Что делать? Владимир Александрович, Вы сказали, ничего не делать. Было бы замечательно, если бы это было так. Но дело в том, как я понимаю, парадигматика сегодняшнего обсуждения – это не отвлеченная парадигматика, не разговор вообще - «ля-ля, тополя». Есть Фонд «Общественное мнение»...

Петренко: Это работа за деньги, заказ был очень жесткий...

Чесноков: Фонд «Общественное мнение», который, в общем, по-настоящему на моей памяти впервые поставил вопрос о том, чтобы исследовать инструментарий, которым он пользуется...

Ядов: Сергей, когда я сказал: «Ничего не делать»... Вот он говорил: «Люди не вовлечены, установки слабые...»

Чесноков: Ответ красивый... Я понял, поэтому и хочу возразить. Возьмем действия Фонда «Общественное мнение», который находится, как некий замыкающий накоротко провод: с одной стороны, пространство кремлевской или какой угодно политики, где формируется семантика современного политического процесса, а также процесса функционирования государства, а с другой стороны – население страны, которое живет себе в своих измерениях. И фактически Фонд «Общественное мнение» вынужден, начиная с тех понятий, которые функционируют на верхнем уровне, спускаться на уровень коммуникаций и замыкать эти вещи на коммуникативную ситуацию. И поэтому, если они спрашивают о Путине, то мы должны помнить, что, вообще-то говоря, социальная значимость ответа определяется не тем, понимает ли респондент, что он говорит или нет, а тем, что он идет на выборы и голосует. Именно эта ситуация важна для политиков. И этот момент не дает нам возможности просто так говорить о каком то тумане. Если бы мы находились только в исследовательской парадигме, причем, если бы референтная группа, на которую работает ФОМ, была бы группой ученых, занимающихся теорией, там среднего уровня, высокого уровня, то, наверное, можно было бы сказать так. Но в данном случае, мы имеем дело с организацией, которая, повторяю, находится в очень жестких рамках коммуникативного посредника между одним слоем, где формируется семантика на уровне политики, и другим слоем, где происходит жизнь людей. Это очень серьезная проблема.

Действительно, Миша, ты прав, конечно, что здесь несколько мощных тем, и вокруг каждой из них существуют очень четкие традиции артикулирования. В эти традиции можно спокойно уложить процесс и повести его так, как надо. Но в действительности то, что говорит сейчас Дима, он говорит в контексте предыдущего разговора, предыдущего семинара. К сожалению, некоторые люди здесь просто не присутствовали на том семинаре... В действительности получается такая штука, что эти ребята, которым Лена и ФОМ патронируют в проведении этих исследований, они, действительно, оказались перед лицом той проблемы, которая никогда не признавалась, как проблема методологическая, а рассматривалась исключительно в методическом ключе. Они выясняют, что сами процессы семантики, которые возникают, когда люди отвечают на вопросы, что эти процессы идут вообще удивительным образом. И тогда у них в голове возникает образ, куда же это все идет, как происходит это замыкание накоротко, то, что называется «крыша едет», но на самом деле возникает ощущение практически не исследованного пространства, понимаете. Вот в чем я вижу очень интересный аспект этого разговора. Не исследованного в каком отношении?

Я всецело поддерживаю открытость по отношению к тем реальным процессам, которые идут на уровне живой коммуникации. Это замечательно, что есть этот стол, что здесь можно говорить, что можно, как в рамках фокус-группы просматривать этот разговор, потом заниматься интерпретацией как объектом исследования. Это очень важный момент. На моей памяти, повторяю, во всех прописях социологических сказано: «Чтобы сделать хороший вопросник, надо провести его пилотаж». Надо. Во всех прописях. Я не знаю, как у вас, но я никогда, в этом смысле, не видел хорошего сделанного вопросника. Сбил, сколотил, вот колесо, сел да поехал. Потом Миша говорит: «Я провел исследование – обнаружил...» Но это же потом, прошли там годы. А все шло, шло, шло, а потом это исследование. В действительности, на пилотаж, как я видел, всегда не хватает времени и ресурсов.

Во всех прописях социологических сказано, что существует исследовательская проблема, что эта исследовательская проблема возникает на уровне того социального института, референтной группы ученых или политиков, или еще кого-то, кто заказывает музыку. Потом возникает проблема – перейти от этих... Простите, я вам сейчас говорю... моя мысль не в том, чтобы сообщить то, что давно всем известно, а в том, чтобы подчеркнуть, что переход от этих вопросов к коммуникативным вопросам практически никогда не рассматривался, как проблема методологическая. И вот с этим делом они сейчас столкнулись просто лоб в лоб. Что нельзя просто так вот: на «даешь», «ура!», с шашкой наголо – и пошел вперед. А получается, что за этим стоит просто Ойкумена - огромное количество различений, которые возникают на уровне отношений с респондентом. Конечно, я понимаю, что очень соблазнительно считать, что в сознании респондента туман, очень соблазнительно. Но дело в том, что...

Климова: Это, просто, правда.

Чесноков: Это правда... Владимир Александрович, я могу не кривя душой сказать, что я с Вами соглашаюсь, потому что то, что здесь утверждается, утверждается здесь и сейчас, и Вами конкретно, так же, как Сашей. Но мной утверждается другое. Понимаете? За тем, что у респондентов туман в голове может стоять два процесса, два обстоятельства: Действительная констатация, которая эмпирически выверена с использованием такой рафинированной методики, когда человек получил действительно социальный результат, а не то, что пригрезилось там где-то. А второе – то, что за этим стоит непонимание процессов формирования семантики понятий, которые обрамляют участие людей в социальной жизни, непонимание того, как процессы формирования этих понятий связаны с теми вещами, которые функционируют на уровне потребителей вот этой самой продукции. Непонимание. Эти мостики, эти связки – они не осознаны, как объект исследования. И фактически это означает, что в социологии реально...

Ядов: Недавно Фонд обнаружил, что 60 с гаком процентов опрошенных не понимают, что такое либерализм. Не могут определить.

Чесноков: А как они могут это понимать?

Петренко: Как?

Чесноков: А кто может это понимать, если...

Ядов: Каждый день об этом...

Ослон: Туман не только у респондентов, но и там, у заказчика.

Чесноков: У заказчика, конечно. Но замечательный пример. Вот где, казалось бы, социолог, используя свои возможности и склонности к рефлексии по поводу формирования понятий, мог бы, действительно, навести своеобразный порядок. Ну, хотя бы не определить раз и навсегда, что такое «либерализм» – Господь, спаси, что называется, и сохрани – этого невозможно сделать, а понять, что формирование всякого понятия возникает всегда в двух ипостасях. Есть семантика, которая тащится от каких-то идеологических институтов, которые ее формируют. Будь то институт науки или институт каких-то экспертов, которые декларируют и просвещают народ. А существует реальная жизненная практика, которая переформировывает это понятие. К этому можно подходить с позиции, что эта практика устроена нехорошо – вот она не соответствует реальному пониманию, поэтому у респондентов в головах каша. Но можно подходить и по-другому: что социолог не понимает, как реально происходит формирование понятий, как сдвигаются эти семантические смыслы. Я, например, только с этим связываю тот потрясающий разброд в головах, который возник, когда начался процесс перестройки, и все в один голос заговорили: «Ах, вот рухнули колхозники, рабочие, крестьяне». А что рухнуло-то, собственно? Рухнули вещи, которые сидели вот здесь, в зопе, как говорил один японец, понимаете. Так вот, я хочу сказать, что в той теме, о которой говорил Дима, есть, действительно, два очень важных аспекта. Один – инструментальный, практический, прагматический: как делать исследование таким образом, чтобы Фонду «Общественное мнение» можно было более уверенно опираться в контактах с критиками, с людьми, которые, соответственно, каким-то образом настроены против или, наоборот, за. Опираться на это, для того чтобы аргументировать свои позиции. И это очень серьезная тема. Я думаю, что это направление будет продолжено.

Петренко: Хочется верить.

Ядов: «Против» или «за» кого или чего?

Чесноков: Я имею в виду, что любой структуре, которая находится между полюсами, приходится отстаивать свою социальную роль. И отстаивая эту социальную роль, опираться на более-менее твердые вещи, которые делаются на уровне исследований. Это просто удобно. Это естественная технология просто оформления своего бытия в социуме. Вот и все – больше ничего. Только это я имею в виду. Но есть и часть методологическая. И в этой связи я хочу сказать, что, обсуждая те вопросы, Дима, о которых Вы говорите сейчас, имело бы смысл тверже встать на ноги, на вот те хорошо известные социологам вещи, когда говорится о том, что существует исследовательский вопрос, что существует вопрос коммуникативный, что между ними существует очень серьезный переход, что этот переход представляет собой важнейший этап создания нормального вопросника, что при этом переходе необходимо спроектировать, как потом от коммуникативных вопросов в процессе анализа возвращаться снова к исследовательским вопросам. Эти моменты выглядят техническими, но мне кажется, что у той практики опросов, которая сложилась в социологии, есть замечательное качество: именно сама форма вопросников, сама организация опроса. Это качество дисциплинирует мозги и дают твердую опору для решения проблем. Казалось бы, вот чуть-чуть приподнимись, уйди в когнитологию, и проблемы будут иметь какой-то очень мощный, высоко теоретический уровень постановки. Но в действительности в них уже заложены интересные возможности для решения. Я приведу пример. Возможна, и для многих социологов совершенно естественна точка зрения, что нет плохого вопроса. Есть плохое отношение между задачей, которую ставит социолог, и тем коммуникативным вопросом, который он задает. Например, когда человека спрашивают: «Интересен ли Вам Путин?», «Поддерживаете ли Вы Путина?», его ставят в ситуацию, когда он либо отвечает «да» или «нет», либо рождает что-то. Социолог же должен выполнять то минимальное требование, чтобы в «закрытиях» не терялся ответ респондента, чтобы реакции, о которых, Дима, Вы говорили, не уходили из поля зрения, чтобы они фиксировались в составе ответов. В таком случае будет замкнута вся цепочка. И проблемы, о которых говорил Дима, они останутся открытыми, они не будут утоплены. Т.е. есть некий минимальный набор требований, который имеет смысл здесь реализовывать. Это вопрос конструирования списков ответов, т.е. закрытий, если речь идет о жестком инструментарии, конечно же.

Теперь, например, такая вещь: Дима говорил, что важно зафиксировать понимает ли респондент вопрос. А ведь возможна совершенно другая точка зрения. Вот смотрите. Допустим, человека спрашивают в парткоме: «Как Вы относитесь к Ивану Ивановичу – директору?» И он говорит: «Я готов ему задницу лизать». А потом его спрашивают в пивной: «Как Вы относитесь?», и он говорит: «Я бы разбил ему эту кружку о голову». Где он врет? Где он говорит правду? Наивная точка зрения - что он в парткоме врет, а там говорит правду. Более глубокая точка зрения, на мой взгляд, состоит в том, что он нигде не врет. Респондент вообще никогда не врет, потому что он общается на том уровне, который ему предлагается. Вы прекрасно знаете, что если с Вами разговаривает собеседник, который не знает Вашей лексики, не понимает, как с Вами говорить, то Вы каким-то образом уйдете от прямой коммуникации. Что делает социолог, когда он задает вопросы респонденту, в которых не выверена лексика, не продумана лексика в отношении того, жива она в этих людях или нет? Что происходит? Происходит коммуникативный просчет – вот и все. Больше ничего.

Вокруг этого круга вопросов, возникает очень понятная, конструктивная линия обсуждения методических сторон инструментария, понимаете. Упаси Бог, чтобы я думал, что я говорю что-то новое здесь. Ничего нового здесь нет. Но мне кажется, что, действительно, важно,... что именно в разговорах о вопросниках, в разговорах о том, как делать вопросы, как отрабатывать лексику...

Ядов: Сережа, а можно я перебью вопросом?

Чесноков: Да-да, конечно.

Ядов: Прочтем любой из этих вопросов. «Сегодня нам необходима цель, которая могла бы сплотить...». И плевать на то, как респондент ответит на эти вопросы. Весь мир масс-медиа, газетный мир, мир вокруг занят именно этими...

Чесноков: В таком случае...

Ядов: Так что делать?

Чесноков: Я Вам скажу...

Ядов: Это только пересказ увиденного. Вы получите точные ответы на те вопросы, которые перед ними не ставят – ни жизнь, ни политика.

Косолапов: И вообще, это не вопрос.

Чесноков: Но все-таки, я думаю, что здесь есть, что делать социологу. Люди, которые проводят обследования, прекрасно знают, что заказчику совершенно наплевать на эту проблему. Это понятная ситуация. Но, по крайней мере, можно эксплицировать вот эти механизмы – назвать их ясно, и уже с этой точки зрения решать проблемы методики. Т.е. не делать вид, что мы занимаемся там наукой, которая что-то может или не может. Просто эксплицировать изучаемые вещи, чтобы хотя бы не было туфты, не было вранья. Например, Дима обнаруживает, что в этом вопросе люди не понимают что-то, они отвечают неадекватно. Это любимое словечко – неадекватность. Поразительная вещь, но ведь можно думать, что вообще неадекватности нет. Неадекватность есть у социолога – ведь он же планирует коммуникацию, он выходит к человеку. Фактически, когда социолог говорит, что респондент неадекватен, то он солидаризируется с теми людьми, которым наплевать на процессы разрывов в семантике. Когда он эту солидарность осуществляет - что он, проявляет научную позицию? Ни в коей мере – чисто организационная игра. Больше ничего. И это очень важно понимать.

Ослон: А если каждый второй респондент неадекватен?

Чесноков: Дело в том, что... называть неадекватностью.

Климова: Можно говорить: «Я был в этой коммуникации неадекватен». Я, социолог, был неадекватен.

Чесноков: Да, конечно! И искать, почему. Но не заниматься тем, чтобы там обвинять кого-то там: действующего политика – Жириновского, Зюганова, Путина...

Климова: Жириновский как раз адекватен.

Чесноков: Нет-нет-нет. Я имею в виду, что позиция социолога – все-таки это врачебная позиция отчасти. Во всяком случае очень важна этическая сторона.

Косолапов: Сережа, ты, по-моему, просто в запале расширил понятие адекватности, о которой говорил Дима.

Чесноков: Но все равно, когда говорится, что ответ неадекватен, то здесь есть призвук оценки сознания респондента. Поэтому-то и возникает так легко слово «туман» в мозгах.

Косолапов: Сережа, за респондента обидно.

Чесноков: Обидно, точно... Мой пафос такой – эти исследования надо продолжать. Но гораздо большее внимание нужно уделить тем вещам, которые кажутся прописями, но которые не превращены в реальную технику работы и главное не отрефлексированы как вещи, имеющие отношение к фундаментальным методологическим вопросам порождения социального знания. И вот эти моменты...

Петренко: Например?

Чесноков: Например, то же самое отношение к Путину... или Горбачеву. Конечно, отношение к Горбачеву содержит массу аспектов. Миша правильно сказал, что эти вопросы для экспертов. Но предложи их экспертам, даже в таком виде, они тоже будут там говорить «ля-ля, тополя», если не провести предварительно реконструкцию семантического пространства. Что человек имеет в виду, когда он говорит, что Горбачев – дерьмо, или когда он великий политик? Что он может иметь в виду? Сделать гипотезы, составить более развернутый вопросник, задать этот вопросник, посмотреть результаты... Я вас уверяю: расчлененная ситуация будет понятна и легко воспринимаема...

Голос из зала: С формализованным интервью лучше не работать с экспертами.

Чесноков: Ну, наверное, да. Во всяком случае, проблемы, о которых я говорю, касаются не только интервью, но и фокус групп и других методов. Моя мысль заключается в том, что есть надежная традиционная точка отсчета, и эта точка просто плохо отрефлексирована... на уровне методологии. Все.

Петренко: Вопросы к Чеснокову есть? (пауза) Если к Чеснокову нет вопросов, то, может быть, есть суждения?

Ослон: У меня есть суждение. Можно сказать?

Петренко: Скажи, пожалуйста.

Ослон: На самом деле, есть такие вопросы, которые задавать нельзя, а их задают. Мы стараемся их не задавать. А собираем коллекцию таких вопросов.

Голос из зала: А критерии, Саша?

Ослон: А, они разные. Это целая проблема – их описание. Систематически это не сделано, и дай Бог, если получится. Например, вопрос типа: «Какие проблемы следует решать Путину?» или «Какие проблемы Вас волнуют?» задавать нельзя в закрытом виде. Потому что любое закрытие порождает артефакт. Это первый тезис.

Второй тезис: есть вопросы, которые можно задавать только в открытой форме. Там совершенно узкая задача: услышать ту лексику, тот язык, на котором люди сами себе, или в данном случае интервьюеру, рассказывают что-то о том, что, возможно, плохо понимают. Если человек говорит: «У меня нет слов для того, чтобы это объяснить», он ничего не говорит. Но если бы мы, например, закрыли вопрос: «Что такое либеральные идеи?», все бы смеялись. А если мы спрашиваем: «Знаете ли Вы, что это такое?», «Можете ли Вы что-нибудь сказать?» Он говорит: «Да, пожалуй, могу». «Ну, скажите, а мы запишем». И дальше анализ записанного результата можно кодировать, превращать в проценты, можно просто читать, как книжку. Мы же книжку не кодируем, читаем просто. А есть узкая группа вопросов – это тоже следует определить, которые можно задавать в закрытой форме, но перед этим их надо проверить на предмет того, вызывают ли они побочные реакции. Если респонденты выдают побочные реакции, а какое-то изменение формулировки уменьшает объем этих реакций – это означает, что задача пилотажа выполнена. Но группа вопросов, которые подлежат тестированию весьма и весьма узкая. Я сейчас не хочу распространяться, но есть какие-то соображения на этот счет. Надо отдавать себе отчет, что далеко не все вопросы подлежат усовершенствованию. Некоторые вопросы надо выбрасывать. Недавно меня поразил вопрос: «Верите ли Вы утверждениям власти о том, что она заинтересована в существовании независимых средств массовой информации?» Не знаю, как в других странах, но спрашивать в России: «Верите ли Вы власти?» – это что-то особенное. Значит, надо как-то уметь отделять такие вопросы, чтобы не усовершенствовать заведомо непригодные формулировки.

Петренко: Так мысль человеческая – она безгранична, можно выдумать такое количество идиотических вопросов...

Ослон: Есть чисто анекдотические вопросы – известные, а есть далеко не очевидная ущербность вопросов. Очень важно такие вопросы раскрыть.

Крыштановский: Саша, Ваша постановка задачи перекликается с тем вопросом, который Вы задавали Диме. Вы его спрашивали: может ли он, проведя методические эксперименты, стать экспертом. Вот он сказал: «Нет». А вот Вы сказали, что вы все-таки экспертом стали. Т.е. Вы читаете вопрос и знаете, что этот вопрос – идиотский. А этот – идиотский в квадрате.

Чесноков: Это другая экспертиза.

Ослон: А я не согласен. Для этого просто надо время – и все. Через какое-то время ему будет плохо жить с той мыслью, что он не может стать. И он будет считать, что он стал.

(ОБЩИЙ СМЕХ)

Чесноков: Я вижу в этом еще один аспект. То, что Вы говорите, Саша, и то, о чем говорит Дима, – это разные источники семантики, разные источники ограничений.

Ослон: Конечно.

Чесноков: Вы все-таки больше акцентированы на источнике, который ближе к деятельностной или общественной функции. А Дима говорит об источниках ограничений, которые идут прямо из живой коммуникативной ткани. Это разные вещи. Их нужно, конечно, соединять, нужно искать...

Ослон: Вы третий раз это упоминаете, я просто хотел бы внести ясность. Общественная роль или провод, по которому течет ток, замыкая общественное сознание и власть – совершенно другая тема.

Чесноков: Но я хочу сказать, что здесь есть два аспекта. Первый – как бы научный аспект. Вот если говорить о научном аспекте, то я убежден, что если не понимать всю технику проведения социологического исследования как коммуникативную технологию, то очень многие вопросы ни методически, ни методологически нельзя решить. Вот, например, нельзя будет решить фиксацию источника, ответственного за социальные знания. Кто ответствен за социальные знания? Как распределяются эти ответственности в социуме? Какую роль играет обсуждение результатов социального исследования? Вот эти вопросы нельзя будет разрешить. Если следовать представлению о том, что социальные знания – это естественнонаучные знания, где есть точные вещи, то в таком случае можно сохранить статус-кво, но оно будет не адекватно социальной реальности. Потому что в социальной реальности любой человек, который утверждает себя как источник определенных идей или отношений, все равно выступает не только как фиксатор фактов, но и как производитель их. Всегда! Всегда смешиваются эти две функции. Образ коммуникативной технологии, по-моему, помогает замкнуть все это в единое целое. Вы де-факто в моем сознании находитесь в этой позиции. Организационно Вам, может быть, неудобно эти вещи как бы замыкать, потому что тогда возникает дискомфорт организационный. Но в таком случае – я это должен принять, признать, и тут, что называется, подымаю руки. Вот.

Задорин: Суждение у меня следующее... Я не хотел бы, чтобы вы восприняли его как защиту идиотских вопросов, но, так скажем, - как более снисходительное отношение к идиотским и прочим неадекватным вопросам. Мне кажется, что вы драматизируете значимость этих неадекватностей. Первый тезис – почему драматизируете. Я не случайно Владимиру Александровичу задал вопрос: что мы, собственно говоря, измеряем, когда задаем вопрос – сознание одного конкретного индивида, которое туман? Да нет! На самом деле мы измеряем реакцию большого числа людей, т.е. общества, сообщества какого-то. И в этом смысле нам очень часто реакция одного конкретного индивида не так важна... Есть куча примеров, когда сложение некоторых неадекватностей дает достаточно точную картину. Мы недавно ставили измерение большого массива публикаций... в рамках предвыборной кампании. Кажется, что они все врут: выступают ангажировано то за одного, то за другого. Но некоторая технология такого интегрального анализа позволяет, оказывается, экстрагировать из них достаточно точную картину политических конфигураций, которые подтверждаются потом многими исследованиями. И здесь, как мне кажется, ответ одного человека – больше вреда или меньше вреда принес Горбачев – не важен. Важно то, что общество в целом, например, скажет – скорее, больше пользы. Почему? Потому что 60% неадекватно отреагировавших ответили так, а 30% – по-другому. И в этом смысле мы можем качественно сказать, что да, больше. Потому что это потом выражается в некотором поведении. Это первый тезис – мы измеряем, в конце концов, не единичную реакцию.

Петренко: Реакцию на что, Игорь?

Задорин: На стимул, который ему дается.

Чесноков: В рамках этой коммуникации.

Задорин: Один человек в этом смысле... не столь важен. Второй тезис...

Косолапов: Игорь, только в одном случае: если все люди слышали одно и то же.

Петренко: Вот то-то и оно...

Чесноков: Просто этого никогда не бывает...

Задорин: Тезис номер два. Если мы будем руководствоваться тем, что сказал Дмитрий и что сказал Сергей, а именно: будем задавать только те вопросы, которые, так скажем, находятся в контексте жизни каждого человека, т.е. вот реально – не про политику, а про дачу... про его непосредственный контекст. А задача-то у нас, в некотором смысле, - померить, например, что Александру Анатольевичу задают там заказчики? Его спрашивают: «А как к бюджету отнесутся?» И правильно говорил Сергей: надо выстроить коммуникативную цепочку... этой исследовательской задачи: как отнесутся к бюджету. Так вот, в этом случае модель этого выстраивания оказывается гораздо более сложной, чем на самом деле она присутствует у человека. У человека такой модели нет. И, более того, он очень часто сталкивается с ситуацией, когда как раз никакого коммуникативного комфорта ему никто не строит. На выборы когда он приходит – у него там портрет человека, написано «Иван Иванович Иванов», биография... и я, например, видел лично, когда бабушки смотрели и говорили: «Так, вот выражение лица... бесхребетный какой-то. Не буду я за него голосовать!» Что это такое? Фактически, перед этим избирателем поставили вопрос... в грубой, неадекватной формулировке. Ну, не находится этот конкретный кандидат в его непосредственном контексте жизни. Но она же вынуждена реагировать! И тысяча примеров таких ситуаций, когда человек, действительно, ведет себя вне всякого коммуникативного комфорта, все-таки делая выбор, принимая решение. И когда мы говорим, что мы задаем кучу неадекватных вопросов – все равно получается, что да, действительно, 30% проголосовало за эту партию. Хотя каждый из них по-своему рассуждают об этой партии, измерение, отношения общества оказалось точно соответствующим реальному поведению людей потом на выборах. Это тезис номер два. Имеется в виду, что очень часто человек ведет себя в ситуации, когда вот эта модель не выстроена даже им самим, не говоря уже - субъектом коммуникаций с другой стороны. Я закончил. Спасибо.

Петренко: Миша Косолапов...

Крыштановский: А можно вопрос задать?

Ядов: А можно Задорину, Задорину? Серьезное дело!

Чесноков: Серьезное дело...

Ядов: Он же все подверг...

Петренко: Владимир Александрович, у меня предложение...

(ОБЩИЙ ШУМ)

Петренко: Я понимаю, я понимаю (громко)... но у меня предложение. Мы услышали точку зрения. Косолапов хотел что-то такое сказать. Если мы сейчас бросимся все на эту точку зрения - мы потеряем нить. А Сережа все записывает и потом отнесется... Михаил Самуилович...

Чесноков: Нет, ну, а Владимир Александрович должен задать...

Петренко: Вопрос Задорину?...

Чесноков: Ну, конечно!

Петренко: Ладно, задавайте Владимир Александрович. Если народ за Вас, то задавайте.

Ядов: Есть там полторы тысячи человек... Что дурного, если они... т.е., вернее, что хорошего, если они зададут эти дурацкие вопросы всем полутора тысячам? Так, может быть, лучше задать более понятные вопросы этим полутора тысячам? Ведь Вы потом получите полторы тысячи...

Задорин: Что при прочих равных лучше задавать хорошие вопросы – это бесспорно...

Ядов: Конечно, тогда ты можешь обратиться в ВЦИОМ, сравнить данные...

Задорин: Я отвечу... по поводу бюджета, кстати, я тут не случайно вспомнил. Недавно один из уважаемых центров, не буду называть, какой, тоже отреагировал на эту проблему Правительства в отношении бюджета и задал вопрос. Даю цитату – вот не поверите: «Как Вы считаете, проект государственного бюджета, внесенного в Государственную Думу, соответствует реальному положению дел?»

(ОБЩИЙ СМЕХ)

Более идиотского вопроса я не видел. Но дело в том, что, несмотря на это, 65% высказало свою точку зрения по нему - что не соответствует.

(ОБЩИЙ СМЕХ).

В 96 году, когда были президентские выборы ... вот Саша не даст соврать... Юрий Николаевич в Благовещенске строил модель... с учетом возможной лживости ответов по голосованию о Президенте. Там считались веса... и то же самое было на в 95 году, на выборах в Думу. Если человек говорит: «Я буду голосовать за КПРФ», то мы ставим ему 0.8, а если он говорит за кого-то там еще – другой коэффициент. И, кстати, это можно сделать на модели Дмитрия, когда сразу после ответа мы спрашиваем: «А Вы уверены?», «А почему?». Можно ставить вес ответа. Но! Что бы тогда получилось? А тогда получилось, что даже если мы будем учитывать вот эти все нюансы, а потом посчитаем с весами вот это распределение, оно окажется близким, если бы мы просто линейку взяли. Опять же, получилось, что различные лживости, по-разному распределенные, дают приблизительно то же самое. Это я отвечаю Владимиру Александровичу, что да, на самом деле иногда можно задать неадекватный вопрос и ответ на него будет похож, если мы будем высчитывать разные тонкости.

Петренко: Все, теперь Косолапов.

Косолапов : Первое: я напал на Диму по поводу вопросов, касающихся личной жизни и прочее... и вопросов далеких от личной жизни человека. Дима отнюдь не говорил того, что ты ему приписал. Он говорил, что человек, более заинтересованный дает более адекватную информацию. И больше ничего не говорил. Он не говорил, что этого делать не надо, или что-то еще. А что касается того, что мы спрашивали и получали близкие вещи - какова степень уверенности в этом? Вполне возможно, что это такой же артефакт. Мы просто получаем ровненькое распределение по людям, не уверенным в своем ответе. Они с равной вероятностью попадают в любую точку. Поэтому они ничего не портят. Вот как было – и они никакого возмущения не несли. Поэтому это абсолютно не аргумент для того, чтобы...

Задорин: Я в данном случае говорил не про уверенность, а про нашу модель лживости. Я допускаю, что...

Косолапов: Я хочу просто добавить, что лживость – это модель, с которой я тоже не согласен. Но дело вот в чем: я-то рассчитывал здесь обсуждать все-таки другие вещи... поэтому...

Петренко: Обсуждай.

Косолапов: Нет, не могу. Потому что я, когда прочитал текст, я для себя прямо выписал – называется: «Методологический анализ методики тестирования». Что здесь, на мой взгляд, хорошо и плохо? Плохо то, с чего сегодня обсуждение началось – практические задачи, для которых все это делается, ушли. На 90% сделана очень хорошая работа, но метод преподнесения ее людям – это метод преподнесения «игры в бисер». Если мы ничего не можем делать: ни набирать информацию, ни учиться бороться с плохими вопросами, то работа Димы просто не нужна. В принципе, она превращается в чистую игру в бисер. Слава Богу, что этого не происходит, потому что плохих вопросов вообще нет. И правильно говорил в свое время Шляпентох: «Всегда можно подобрать задачи под любой простой вопрос». Мы же проверяем неадекватность исследователя, сделавшего вопрос, не дифференцирующий выборку. Но дело вот в чем: плохость бывает разная. Нам трудно бороться с плохостью, если она содержательно плохая, когда задают вопросы, на которые люди в принципе ответить не могут, потому что они не знают, как отвечать. Например, когда вы проводили эксперимент, то вам пришлось долго мучаться, потому что в этих вопросах изначально было нарушено одно из основных правил, которые существуют в задавании вопросов такого типа. Если формулируются два вопроса - один в позитивном плане, другой в негативном плане, и с обратными шкалами, соответственно – они никогда в жизни не должны быть помещены вместе. В анкете они должны быть разнесены, чтобы не было послевкусия или, что называется, «последействия». И психологи давно говорят, что таких вещей делать нельзя. Вы нарушили правило и это добавило Вам плохости вопросов.

Рогозин: В данном случае Вы не правы. Такие вопросы задаются, они оттестированы и хорошо работают. Они называются альтернативными вопросами.

Косолапов: Они имеют право на существование. Помещать их вместе – это ошибка, на самом деле.

Рогозин: Нет, они вместе и помещаются, вот в чем дело. Если же мы будем разрывать эти вопросы, то де-факто будем работать над другой задачей.

Косолапов: Есть работы, которые показывают...

Ядов: Вообще-то, Вы приходите и говорите: «Или Вы «за» или Вы «против» Горбачева?», «Больше вреда или больше пользы?». И Вы же сами говорите, что два суждения только путают человека. Зачем повторять одно и тоже? Что, я полный идиот? А если бы вопрос был разведен – это был бы контрольный, хороший вопрос. И, действительно, сыграл бы свою роль.

Чесноков: Но это же разные инструментарии. Один – когда делается шкала, и обозначаются крайние полюса, и крайним полюсам ставятся в соответствие два утверждения. А другое дело – когда дается два утверждения, и эти два утверждения, если они стоят рядом влияют на распределение ответов. Первое оказывает эффект и...

Косолапов: Есть разные работы. Вы читали одни, а я читал другие. Но исправлять заведомо плохие вопросы – не всегда приводит к интересным выводам, поэтому их содержательная часть, которая есть у Вас, не столь фундирована. Многие вещи, которые Вы сделали на основании довольно тонкого эксперимента, я бы, имея опыт, сразу обнаружил. Я бы сразу сказал, что вот здесь, здесь и здесь проколы. Это относится к тому, что говорил Ослон. Действительно, проводя эксперименты, мы накапливаем опыт... и можем постепенно избавляться от заведомо плохих вопросов. Но «плохих» только в очень узком, довольно формальном смысле. Причины, по которым мы вынуждены задавать плохие вопросы, всем известны. Не хуже вас знаю, что такое бороться с западным заказчиком, когда он говорит, что вот хочу задать такой вопрос, я его задавал в Японии. Не хотите – буду искать других...

Петренко: ...которые зададут.

Косолапов: Да. И это многомесячные споры по каждой формулировке каждого вопроса с доказательствами на пилотажах. А все-таки с западниками можно работать. Делаешь маленький пилотаж, показываешь ему результаты. И он начинает башку чесать и, в общем, иногда соглашается.

Я прочитал работу с большим интересом. У меня на каждой странице вопросы, несогласия – значит, тема задела. И, конечно, хотелось бы, обсуждать методику тестирования, потому что там есть, на мой взгляд, погрешности. Погрешности – это ошибки содержания. Поэтому это нужно обсуждать отдельно.

Галицкий: Можно два слова?

Петренко: Да.

Галицкий: У меня два замечания. Первое – по поводу тумана в голове. Я был свидетелем ситуации, которая показывает, что туман связан не обязательно с социологией или политикой, но и с бытовыми вещами. Один человек говорит другому, что слышал по телевизору такой вопрос: что тяжелее – литр молока или литр сливок? И вот... Он-то знал правильный ответ, тот, кто задавал вопрос.

Голос из зала: И какой?

(ОБЩИЙ СМЕХ)

Галицкий: Это мы сейчас проанкетируем... Собеседник этому человеку знающему ответил так: «Ну, конечно, сливки. Это же сли-и-ивки!» (смех в зале) Тот совершенно ошалело посмотрел и говорит: «Ну, я не знаю. По телевизору сказали, что молоко» (смех в зале). Таким образом туман не рассеивается, поэтому, действительно, надо переходить на волновую теорию, т.е. производить какие-то импульсы и замерять последствия от этого с помощью статистики – ничего больше.

Второе – очень важно как-то выявить услышанный вопрос, получить обратную связь. Если не выяснять технически, как это связано с исследовательским вопросом, то, по крайней мере, возвращать исследователю вот этот результат. По-моему, это должно быть в технологии опроса. Вот, собственно, все.

Ослон: Я правильно понял, что после того, как задан вопрос респонденту, он дал ответ, надо его спросить, какой вопрос ему задавался?

Петренко: Примерно.

Рогозин: Это страшная вещь. Если я не ошибаюсь, то в 70-х годах проводилось исследование по поводу адекватности понимания вопросов, с использованием процедуры, о которой Вы говорите. Так вот, по-моему, около 90% респондентов не понимали о чем их спросили. Они буквально создавали собственный вопрос.

Блехер: Это не тот результат, Дима. Об этом нельзя говорить...

Рогозин: Напротив, как раз это и нужно открывать. Тогда будет понятно, как интерпретировать вопрос.

Косолапов: Если не знать – тогда совесть будет чиста...

Петренко: ...как минимум.

Косолапов: Большое знание отягощает.

Петренко: Володя, я думаю, надо высказаться. Мне так кажется.

Магун: Мне как-то интересно все...

Косолапов: Ты скажи, что психологам все, о чем вы говорите, настолько понятно... (смех в зале)

Петренко: Или, наоборот, – это глупость.

Магун: Нет, у меня есть ремарки по разным обсуждавшимся вопросам. Можно здесь? Поскольку меня, вроде как, вызвали... (встает)

Петренко: Да уж, вызвали...

Магун: Во-первых, мне кажется, что для целостного представления нельзя обрезать проблему в любом месте. Сергей очень верно представил весь цикл исследования, начиная от политического заказа или от какого-то механизма функционирования того знания, которое здесь производится. Есть такое определение: аттитьюд – это то, что измеряется аттитюдными вопросами. В каком-то смысле всем плевать, что в голове туман... То же самое с интеллектом. В этой парадигме всем плевать на то, как это функционирует в обществе. Есть лишь продукт, который нужен для принятия определенных решений. Человек отвечает на ваши вопросы, и замечательно – это уже продукт. На следующем этапе можем прийти мы и начать гадать, что за этим стоит. Если уйти от бихевиористского, операционального понимания, и решить – туман это или какие-то сложные интересные когнитивные структуры, для описания которых у нас или нет средств, или мы их не знаем. Вот вы их осваиваете.

Петренко: А если назначаем?

Магун: Назначаем? Ну, назначаем, как всякую модель – мы ее сначала назначаем, потом проверяем. Но, поскольку это недостаточно развитая область нужно быть очень осторожными с понятиями. Например, много раз использовалось слово «понятие», или понятие о «понятии». В когнитивной психологии, генетической психологии, эпистемологии хорошо известно, что есть разные уровни понятий: понятия, псевдопонятия. Пиаже, Выготский писали на эту тему, поэтому даже у нас это достаточно широко известно. Есть какие-то уровни зрелости вот этих когнитивных представлений в голове у человека. Поэтому, конечно, я против понятия «туман». И тут, по-моему, Сережу я поддерживаю, да?

Чесноков: Только я не понял (смех в зале). Получается, что...

Магун: Ну, ты же выступал против тумана.

Чесноков: А, да.

Магун: Понятие туман выступает в форме какого-то защитного механизма. Если мы уходим от того, что аттитьюд – это то, что меряется аттитьюдными вопросами, и хотим разбираться – значит понятие «туман» не годиться.

Ядов: Обычно говорят: «шизофреническое общество».

Магун: Нет, конечно. Но шизофрения в рамках этого алфавита может использоваться, потому что за этим понятием, в том числе, стоят определенные теоретические представления о когнитивной структуре шизофренического сознания или шизофренической психики. Короче говоря, понятие «туман» не продуктивно.

Петренко: Это метафора, а не понятие.

Магун: Ну, и как метафора... Вопрос в том, какие выводы делать из использования этой метафоры. Если выводы в том, что этим не следует заниматься, туман рассеется сам собой или никогда не рассеется, то я не согласен. Если делать выводы, что это пока туманно, и нам нужно... Кстати, «туманно»... Здесь физиков много, да?.. Ведь в том числе туман был известен как очень важный методический инструмент для исследования фундаментальных закономерностей. Если вот так – пока туман, но надо разбираться, я согласен абсолютно. И не только надо, но и можно разбираться, и, более того, с этим уже разбираются. И в работе сделан некоторый шаг. Но вы не любите, я еще на первом семинаре это понял, когнитивные промежуточные переменные. Мне кажется, это немножко тормозит продвижение. Гораздо активнее можно было бы двигаться...

Рогозин: А что Вы имеете в виду под промежуточными переменными?

Магун: Промежуточные... т.е. не любите то, что Вы называете туманом, не любите начинку головы... понимаете?

Рогозин: А что, это за переменные такие?

Магун: Какие переменные? Когнитивные структуры, понятийные структуры, допонятийные структуры, образы, эмоции.

Рогозин: А как их замерить?

Магун: Как это, как замерить? Этим занимается наука целая – психология. Она их и меряет.

Рогозин: Я просто не знаю. Я не представляю, как...

Магун: Я и чувствую. Вы не просто не знаете, а Вы работаете в такой парадигме, которая их не принимает. Это не то, что Вы недостаточно там зрелы, это именно другая парадигма. Но меня ведь заставили...

Петренко: Заставили, заставили (смех в зале)

Магун: Я не хотел.

Петренко: Заставили, заставили специально.

Магун: Мне все было интересно, на самом деле. Теперь я не согласен еще с одной репликой Миши, Михаила Самуиловича... Миша все время настаивал, что всеми респондентами вопрос должен пониматься одинаково.

Косолапов: Я не говорил, что должен.

Магун: Ну, я записал.

(ОБЩИЙ СМЕХ)

Чесноков: Вот тебе и понимай одинаково.

Магун: Ну, хорошо. Мне кажется, что в наших исследованиях это очень редкая ситуация, когда вопрос понимается одинаково. И большинство различий в ответах возникают именно потому, что разные испытуемые, разные респонденты по-разному понимают вопросы. Например, вопрос о Горбачеве. Один относится позитивно, другой негативно. Я могу сослаться на исследование процессов интерпретации западными социальными психологами, которые показали, что очень часто индивидуальные различия в реакциях вызваны разным наполнением, например, слова «Горбачев». Кто относится к Горбачеву позитивно, имеет один перечень фактов, кто негативно – другой. Возможно они просто по разному интерпретируют одни и те же факты. Вот типичная ситуация, когда именно разное понимание аттитьюдного объекта и дает очень интересные различия в реакциях. И в этом смысле, не нужно бороться за одинаковое понимание, а, наоборот, нужно осознавать, что такая борьба сама привносит туман, если использовать ключевое слово нашего семинара.

Крыштановский: Володя, интересно, а что делать с результатами? Не понятно, на какой вопрос отвечали люди, если каждый говорил только о своем понимании.

Климова: Ясно, что делать: задать еще пару вопросов.

Магун: Нет, люди выражали свои аттитьюды, высказывали социальные установки по отношению к Горбачеву. Больше блага или больше зла он принес, т.е. позитивно я к нему отношусь или негативно. И в этом смысле мы получаем аттитьюд. Но поскольку этот объект очень сложный...

Крыштановский: Задорин то же самое говорил: мне не важно, что люди думают, о чем спросили – не важно. Они ответили – и, слава Богу.

Магун: Нет, почему...

Косолапов: Володя, в данном случае я говорил только об одном: чтобы все Горбачева идентифицировали с одним и тем же человеком (смех в зале).

Магун: Иногда бывает, что ты сказал одно, а на самом деле – другое. Ты сказал больше. Мне приятно, что мои слова вас затронули. Я только и хотел привлечь к этому внимание. Спасибо.

Петренко: Пожалуйста. Косолапов.

Косолапов: Яркие примеры неодинаковых пониманий возникают при социологических исследованиях, когда мы пытаемся переводить на национальные языки анкеты. Вопросы остаются одни и те же. Как мы в одном исследовании спрашивали на русском, якутском, осетинском, татарском, еще каком-то. Тогда видна структура языков. Например, по осетински одно слово означает хозяина, начальника, председателя – в общем все. Если переводить вопросы на разные языки, становится очевидным разное понимание одних и тех же вопросов.

Чесноков: Социальная жизнь проявляется в разных образах.

Ядов: Русский русского не понимает...

Магун: Но это очень интересно...

Косолапов: Идет интервьюер с двумя вопросниками – на русском и на осетинском. И если респондент на осетинском не понимает – говорит: «прочитай мне лучше на русском». Некоторые вещи читают на русском.

Ядов: На совете было, когда парня посадили за то, что перевел слова: «у большевиков особый сленг» - «у большевиков особый амбар».

(ОБЩИЙ СМЕХ)

Косолапов: Все понятно. Это известно, что по-узбекски «Ленин жив» пишется как «Ленин вор».

(ОБЩИЙ СМЕХ)

Петренко: Так, еще. Прежде, чем Чеснокову разрешить говорить, еще кто-то хочет сказать? Саша, ты не хочешь?

Крыштановский: Мне кажется... во-первых, меня страшно заинтересовала сама постановка задачи – это, действительно, крайне интересно и важно. Вот я и с Володей Паниото вчера обсуждал – такое впечатление, что впервые за последние 15-20 лет не только задача поставлена, но и приняты некоторые шаги к ее решению. Можно открыть книжку Ядова или, если аспирант – не приведи Господь – не знает, что надо проводить тестирования, он получит два балла. Его все ногами запинают, а после этого пройдет исследование без всяких тестов. Классический совершенно сюжет. Здесь это переведено в некоторую практическую плоскость – это страшно приятно и радостно. Если же говорить о нашем разговоре, то мне кажется, что дискуссия пошла по нескольким разным плоскостям. Все интересные, все важные, и все как-то смыкаются, поскольку все смыкается в этой жизни. Я полностью согласен с Мишей, что разговор о проведенном тестировании...

Косолапов: Уже семь человек выразили согласие со мной.

Петренко: А ты все считаешь.

Крыштановский: Действительно, там есть в чем более подробно разбираться. Я не очень понимаю, в какой форме это можно делать. Если втроем собраться – я понимаю. Можно садиться, по тексту обсуждать...

С другой стороны, темы, которые были здесь затронуты, – действительно больные для всех, кто работает в этой области. Я абсолютно не согласен с коллегой Задориным. Я считаю, что это некоторый такой вот...

Задорин: ...даже не коллега.

Крыштановский: ...даже не коллега... (смех в зале)... с пресловутым Задориным... Действительно, часто приходится сталкиваться: «ну, какая разница, ведь чего-то они ответили... но ведь и можно дальше пойти». И идут дальше. «Ну, выборка, да какая разница, не добрали в этом районе – и фиг с ним. Все равно примерно похоже». И здесь происходит нехорошая подмена – например, с выборными сюжетами, поскольку в них, вроде бы (тоже вроде бы!) есть некоторый критерий истины. Вот на самом деле мы провели опрос – мы не знали, как на самом деле, а есть некий внешний инструмент, который дает критерий истины. Тот же самый маркетинг: угадал сколько купил часов или трусов –значит, и попал, все точно провел. Почему здесь абсолютно не адекватен подход: «а спросить чего-нибудь, и потом мы как-нибудь это проинтерпретируем». Потому что критерий истины как таковой – формируется нами в процессе понимания того, что ответили. Значит, мы эту истину... вернее, наше представление об истине, ее понимание формируем на основании этих ответов. Получается классический, порочный круг: мы задали вопрос не пойми про что, нам что-то ответили, мы про это чего-то придумали и сформулировали, что такая социальная реальность есть. Масса статей в замечательных журналах... «Соц. исследования». Там почитать – Бог ты мой! Фантазии на тему. Причем совершенно ясно, по многим вещам я вижу, что если бы человек писал через два дня – у него просто другое настроение было бы, другое состояние – он написал бы другую статью...

Петренко: Это точно.

Крыштановский: ...на том же самом материале. Т.е. это ситуативно – вот ему в голову это пришло. Сама эта посылка о том, что неважно: давайте спросим... он там не точно понял, не точно ответил, а все равно – мы там тысячу человек вместе сложили и получили правильно. Это классическая аристотелевская логика – из неверной посылки можно сделать верный вывод. Когда неверная посылка – нет критерия истинности или не истинности вывода. Это же Аристотель! Это же классика. Вот, я думаю, Сереже ближе, чем кому бы то ни было...(смех в зале)

Чесноков: У меня об этом статья написана...

Крыштановский: И не одна. В данном случае мы начинаем множить артефакт. И то, что мы начинаем вешать лапшу на уши заказчику показывает уровень культуры исследователя. Ну, да... он прочитал какие-то книжки, Ортего-и-Гассета открыл там когда-нибудь. О, е-мое! Получается хорошее понимание социальной реальности на основе...

Ядов: Ортего тут при чем? Классическую книжку он прочел.

Крыштановский: Ортего – собирательный образ... и брат его Гассет. (смех в зале) И в это смысле проблема, скорее, поставлена, чем сформирован какой-то конструктивный выход. По крайней мере, в том материале, который был разослан, я его не увидел. Я увидел методику тестирования, в общем, конкретного вопроса. «Методика методик» – как было правильно сказано. Но вообще, гносеологический компонент: что мы, собственно, изучаем, что есть аттитюд как таковой? Вот здесь вылезает из засады Магун, который говорит, что, ребята, мудрые психологи сто лет этим занимаются и все про это знают.

Ядов: Нет, как раз ничего не знают.

Крыштановский: Это мы знаем, что ничего не знают, а он говорит, что знают (ОБЩИЙ СМЕХ) И самое смешное, что они до фига всего знают. Они не знают истины, но знают, действительно, по многим вещам очень много всего самого разного. У них свои подходы, свои заходы – масса всякого разного. Но не случайно Магун прибежал в социологию из психологии. (смех в зале) Не потому, что там все знают, а здесь можно закрыть этот вопрос. Мне представляется разумным повернуть в эту сторону. Что есть аттитьюдные вопросы? Что мы действительно меряем? Есть ли у нас разница по сравнению с «психами», которые имеют свою методику? А у нас немножко другие методики? Имеем ли право заниматься аттитьюдами или вообще надо закрыть эту проблему? Если есть аттитьюд – вперед к психологам, пускай они этим занимаются. Володя, вот скажи, имеем право? Ты, как засланный казачок в социологическом лагере (смех в зале).

Магун: Мне кажется, ты просто задаешь риторический вопрос... Я вообще против границ между дисциплинами, если серьезно говорить, и уверен, что это одно и то же понятие и один и тот же феномен. В контексте нашего разговора более важно было упомянуть, что там есть люди, которые кое-чего знают. Вот и все. И наработаны вещи. А не потому, что здесь какие-то враждебные социологи... Реально перед нами сегодня был психологический доклад.

Крыштановский: Да, без сомнения.

Магун: И это же не важно, кто как называется – мы же работаем междисциплинарно.

Крыштановский: Я бы сказал, что психологический, но все-таки на социологической почве, с хорошими оценками.

Магун: Ну, да. Но это вообще ненужные, мне кажется, слова.

Крыштановский: Нет, знаешь, почему они нужны...

Магун: У меня трудность с идентификацией...

Крыштановский: У социологов есть проблема с идентификацией. Когда на книжке написано «психология», социолог радостно бежит в другую сторону. Знание психологии, вообще говоря, просто отсутствует – это колоссальная проблема социологии

Магун: Ну, оно иногда и не нужно...

(ОБЩИЙ ГРОМКИЙ СМЕХ)

Магун: Но в данной конкретной ситуации оно нужно.

Крыштановский: Нет, я думаю, что оно вообще нужно. Оно нужно для всех людей, которые работают с вопросниками, просто с коммуникацией. Вообще говоря, занимаются процедурами...

Магун: Чтобы найти себя, там...

(ОБЩИЙ СМЕХ)

Задорин: Можно теперь не замечание, а пожелание...

Косолапов: Оправдаться хочет (смех в зале)

Крыштановский: Только не ругай меня...

Задорин: Я бы хотел пожелать Дмитрию, и как бы ответить социологам и Краштановскому. (ОБЩИЙ СМЕХ)

Я затеял эту дискуссию только для того, чтобы у вас появилась еще какая-нибудь весомая аргументация – зачем вы это делаете. Потому что пока я услышал основной только мотив – то, что говорит Саша –профессиональная честность. Я хотел бы сказать, что этого мало. При всем притом, что это мне глубоко симпатично. Я хотел бы сказать, что Вы (обращается к Рогозину) бы доказали, что Ваши работы – приводят, например, к более точному измерению там каких-то явлений. А не только вот то, что Вы, действительно, меряете честно и отдаете себе отчет в этом. Вот ведь Вы что произнесли? Тезис основной: надо отдавать себе отчет. И Крыштановский, собственно, про это говорил. А я хочу сказать, что иногда надо отдавать себе отчет в зависимости от задачи. Например, Правительство интересует, поддержат ли бездефицитный бюджет. Задайте вопрос о бездефицитном бюджете и 80% ответят положительно. Александр Анатольевич не даст соврать – там замечательное есть разделение. Половина-то понимает, что бездефицитный бюджет – это баланс между доходами и расходами, а половина считает, что бездефицитный бюджет - это когда нет дефицита (смех в зале). Нет дефицита! Такой классный бюджет, что дефицита - нет! Так вот, я хочу сказать, что в этом смысле Правительству, когда 80% поддерживают бездефицитный бюджет, вообще говоря, все равно – почему люди поддерживают. До тех пор ему будет все равно, пока 40% не разберутся (смех в зале), почему это не так. И в этом смысле мы должны подстраивать под задачу очень многие вещи, при всем притом, что наша профессиональная честность сейчас в полном объеме может быть зафиксирована. Но мы разобрались, что 40% потому, а 40% - поэтому. Но я бы хотел сказать, чтобы все-таки...

Косолапов: ...и мы могли сказать Правительству, если через два года эти 40% разберутся – им не жить (смех в зале). Делайте что-то!

Задорин: ...Ваша работа была более мотивирована. Все.

Петренко: Так, ведь вот Косолапов замотивировал просто... как дважды два... (смех в зале) Еще кто-то хочет сказать?

Ослон: Можно я два слова скажу?

Петренко: Да.

Ослон: Мне кажется, что слово «туман» здесь обозначало, по крайней мере, я так понимал, то, о чем не говорят. Вместо этого ровно об этом стали говорить. И в этой связи есть второе соображение – оно связано с ведением семинара. Мне кажется, это удовольствие от общения – хорошее, поскольку оно свежее, но если в таком духе он будет проходить, то, растекаясь мыслию по всем темам, мы будем через какое-то время уходить удовлетворенными, но не довольными, или наоборот - довольными, но не удовлетворенными. Мне кажется, правильным было бы сужение тематики, поскольку иначе не может быть наполненного содержанием разговора. Если мы решили про «туман» не говорить, то не говорим. А если решили говорить, то говорим только про него.

На самом деле, Дима подвернулся тем, что он сказал, что вопросы эти аттитьюдные. Тем самым запустил некий мыслительный процесс, который дошел до того, чтобы выяснить тут между делом, что это такое.

Теперь самое важное, что я хотел сказать по поводу мотивации. Мне кажется, есть некоторые выдуманные, абсолютно не из жизни взятые... позиции, что если мы отшлифовываем вопрос, то мы делаем хорошее дело, потому что более точно измеряем – настолько длинная и далекая связь, что это не может быть мотивацией. И еще то, что Сергей говорил, что если мы делаем более качественно исследовательские шаги, то тем самым мы более точно можем представить эту информацию публике, или там политикам – тоже очень длинная цепочка. На самом деле, это не работает как мотив, поэтому наш мотив в этой ситуации очень простой: хотелось бы делать лучше, если есть такая возможность. Это как токарь четвертого разряда, который хочет получить пятый. Вот и мы хотим. Нормальная простая житейская мотивация. Все остальные мотивы – это иллюзии.

Косолапов: Хочет, чтобы агентства, которые занимаются исследованиями, они бы имели рейтинг. Хочет повысить себе рейтинг.

Ослон: Нет, они все имеют рейтинг. В данном случае важнее самооценка.

Ядов: Давайте, мы предложим Магуну про аттитьюды рассказать.

Петренко: Давайте предложим.

Магун: Я так спокойно к вам пришел...

(ОБЩИЙ СМЕХ)

Ядов: Это, на самом деле, серьезный предмет. Надо разобраться, что есть аттитьюд. Вот какую пользу они...

Петренко: А давайте, Владимир Александрович, Вы начнете запевалой, а Магун будет оппонировать.

Ядов: Но дело не в этом. Какая польза была сегодня для меня, например? Я убежден, что, конечно, так тонко никто никогда и не будет тестировать, проверять – это просто невозможно. Но методологическая рефлексия у всех у нас... мы теперь начинаем лучше соображать: черт побери, двойной смысл и т.д. Это стимулирует аккуратнее подходить к разработке инструмента. Конечно, мы не сможем, да и Вы не сможете никогда, вот таким образом экспериментировать по всем проблемам, и даже наиболее важным. Это никто и не собирается делать. Значит, образец делается не для того, чтобы все прыгали с шестом, как Бубка. А чтобы знали, что есть возможность, используя шест прыгнуть повыше

Петренко: Вреда-то точно нет. Я-то лично удовольствие получила. Сережа.

Чесноков: Мне больше нечего сказать, честно говоря. Я не знаю, мне было просто очень интересно слушать то, что говорили. Конечно, здесь возник замечательный момент напряжения, связанный с тем, что Вы, Игорь, говорили. Я бы хотел просто добавить сюда один маленький штрих. К сожалению, он тоже идет от этого же лагеря – против Вас, но... (смех в зале) На самом деле, конечно, я понимаю: Вы же очень четко сказали, что Вы просто спровоцировали ситуацию. И эта провокация имеет смысл, потому что она вызывает коммуникацию, вызывает активность.

Я могу привести очень простой банальный пример, который не представляет собой ценность в исследовательском плане. Допустим, Вы хотите измерить обеспеченность бытовой техникой. Вы можете спросить: Вы обеспечены бытовой техникой? Вы наткнетесь на то, что человек Вам отреагирует на лексическую единицу «обеспеченность бытовой техникой», которую кто-то будет ассоциировать с каким-то рядом текстов, идущих по радио, по коммуникациям, что-то еще. «Обеспеченность бытовой техникой» в контексте каких-то разговоров и т.д. Вполне нормальная задача. Но если Вы, действительно, хотите понять, что происходит с обеспеченностью бытовой техникой, все-таки нужно спросить: У Вас есть утюг? Стиральная машина есть? Пылесос есть? Холодильник есть?

Крыштановский: А что еще у Вас есть?

Чесноков: Можно и так спросить, но я хочу сказать, что здесь возникает очень простая мотивация, почему желательно переходить на те понятийные ряды, которые ближе к жизненной ситуации. Но почему-то здесь также возникают конфликты. Например, почему-то в решении этих задач очень многие пользуются такими вещами, как кластерный анализ, который просто мясорубка для содержательных смыслов.

Когда вы будете потом конструировать из этих утюгов, пылесосов стиральных машин понятие «обеспеченность», окажется, что вы это сделаете одним способом, а другой человек, который включен в другие семантические представления, сделает по-другому. И очень важно, чтобы была возможность организовать коммуникацию между этими разными пониманиями, потому что нет объективного понимания, но коммуникация тогда становится более эффективной. И вот эта большая эффективность представляет собой безусловную ценность – и прагматическую, и научную.

И, еще один штрих. Когда мы говорим, что получаем ответы от отдельных людей, а измеряем общество, вроде бы возникает альтернатива: общество это то же самое, что сумма людей или нет. Но нет этой альтернативы, ее вообще нет. Что такое сумма здесь – не понятно. Понятно, что если вы, например, ставите вопрос: как Вы относитесь к Путину, вы считаете процент, который получается соотнесением числа ответивших определенным образом к общему числу ответивших. И этот процент считается из единичек, которые считаются эквивалентными. Вот эта простая операция счета несет в социологии колоссальный коммуникативный и интерпретативный смысл. И вот здесь возникает проблема, потому что если вы эти единички объединяете и их сумму относите к обществу в целом, то получаете процент – все в порядке. Но если, вы можете сказать, что среди них существуют 20%, которые как-то реагируют на вопрос, а другие люди реагируют по-другому – это будет существенное продвижение в интерпретации. Если тот, для кого это делается, будет заинтересован в том, чтобы действительно принимать решения, если он будет рассматривать эти результаты не как вещи, которые по большому счету второстепенны, тогда эта дифференциация будет иметь понятный социальный смысл. И вот этот смысл представляет собой безусловную ценность, мне кажется. Вот все.

Петренко: Дима, теперь Ваша, можно сказать, последняя реплика. И будем пить чай с бутербродами.




База данных ФОМ > К результатам поиска > Рогозин Д. М. Подходы к тестированию аттитьюдных вопросов (16.02.2001) / Под ред. Д.М. Рогозина. М: Фонд "Общественное мнение", 2001