Участники семинара:

Батыгин Геннадий Семенович, д.ф.н., профессор, зав сектором социологии знания, Институт социологии РАН.

Блехер Леонид Иосифович, ведущий специалист, Фонд "Общественное мнение

Галицкий Ефим Борисович, к.э.н. ведущий специалист, Фонд "Общественное мнение"

Задорин Игорь Вениаминович, генеральный директор, Фирма «АДАПТ», исследовательская группы ЦИРКОН

Грибанова Ольга Борисовна, ведущий специалист, Фирма «АДАПТ», исследовательская группы ЦИРКОН

Стребков Денис Олегович, ведущий специалист, Фирма «АДАПТ», исследовательская группы ЦИРКОН

Кертман Григорий Львович, к.и.н., начальник аналитического отдела, Фонд «Общественное мнение»

Климова Светлана Гавриловна, к.ф.н., научный консультант, Фонд «Общественное мнение».

Козлова Лариса Алексеевна, к.ф.н., доцент, зам. редактора Социологического журнала.

Косолапов Михаил Александрович, к.ф.н., заведующий сектором методологии и методики социологических исследований Института социологии РАН

Кочеткова Инна Борисовна, аспирант, Институт социологии РАН

Магун Владимир Самуилович, к.ф.н., ведущий научный сотрудник Института социологии РАН

Ослон Александр Анатольевич, генеральный директор, Фонд «Общественное мнение»

Петренко Елена Серафимовна, к.ф.н., директор по исследованиям, Фонд «Общественное мнение».

Рассохина Мария Владимировна, аспирант, Институт Социологии РАН

Рогозин Дмитрий Михайлович, консультант, Фонд «Общественное мнение»

Черняков Анатолий Аркадьевич, зам. аналитического отдела, Фонд "Общественное мнение"

Чесноков Сергей Валерианович, к.х.н., научный директор, КОНТЕКСТ

Чураков Александр Николаевич

Чуриков Алексей Владимирович, зам. директора, Фонд «Общественное мнение».

Крыштановский Александр Олегович, к.ф.н., декан факультета социологии, Высшая школа экономики

Петренко: У нас сегодня несколько необычный семинар. Обычно мы обсуждаем методологические проблемы, сегодня же будем говорить о результатах одного исследования. Но я думаю, что мы все равно будем рассуждать о методологии спустя некоторое время, поскольку Игорь собирается рассказать нам об очень даже нетривиальной процедуре. С августа 99 года у нас живет панель, в которой один раз в две недели участвуют от 750 до 800 респондентов (Панельное исследование "Язык реформ" проводилось в течение годя с июля 2000 по июнь 2001. Основной задачей исследования было проведение свободных интервью с участниками панели, в ходе которых тестировались следующие понятия: закон, жилищно-коммунальное хозяйство, СМИ, экономический рост, бездефицитный бюджет, правительство, льготы, предпринимательство, жизненный уровень, собственность и собственники, труд, власть, государство, реформы. Опросы проводились в 27 городах. К исследованию были привлечены 24 региональных партнера Фонда - Прим ред.). С ними проводятся свободные интервью по стандартному сценарию, достаточно короткому сценарию, но относительно разных понятий (клише), которые вокруг реформ функционируют и употребляются. Сама по себе эта процедура уникальна. Я не побоюсь этого слова. Такого в отечественной социологии еще не было. Вот эти 800 человек превратились в некую ассоциацию или социальную группу. Сначала была построена нормальная выборка. Совершенно строго выбрали в соответствии с социально-демографической квотой маршрутным методом с фильтром по доходу граждан. С августа по октябрь наши организаторы полевых работ провели большую и очень тяжелую работу по вовлечению респондентов в панель. Начиная с ноября, опрашиваемые нами люди с большим интересом включились в абстрактные разговоры. Они стали читать газеты, звонить нам. Скажем, вот мне сегодня девушки из полевого отдела рассказали, что в 25-ом роддоме на деньги, получаемые за участие в панели, одна участница купила три швабры. Теперь в 25-ом московском роддоме просто честно заработанными швабрами моют полы. Я была этому обстоятельству ужасно рада, потому что мои два внука в этом роддоме родились. Что касается результата исследования, который собственно являются темой и предметом сегодняшнего семинара, я вас все-таки прошу иметь в виду, что я чуть-чуть только рассказала про процедуру, которая предшествует получению этого результата. И я на этом умолкаю, предоставляя слово Игорю.

Задорин: Спасибо большое. Темой нашего выступления будет предложение по некоторой, именно методологической процедуре. То есть, в этом смысле, мы не отступаем от жанра семинара. Это именно предложения по методологии и анализу в известном смысле уникального массива данных, который появился у Фонда «Общественное мнение». Действительно, уже проведено шестнадцать опросов. Каждые две недели появляется огромный массив порядка 800 как бы свободных интервью.

Крыштановский: Это диктофонная лента? Диктофон?

Задорин: Это запись.

Петренко: Интервьюер по сути дела делает стенограмму. У него есть тетрадочка с вопросами. И он, конечно не дословно, но все же какое-то изображение ответа фиксирует.

Задорин: Конечным продуктом первого этапа сбора информации является собственно текст или массив текстов. Тестов высказываний респондентов по различным темам. Каждый опрос – это определенная тема. Фактически это разговор о некотором определенном понятии. Понятия, которые, как предполагается, являются некоторыми базовыми понятиями, на которых власть в той или иной степени как бы общается с населением. То есть это понятия, которые используются в языке власти. Не случайно в названии нашего проекта присутствуют слова «язык реформ или тестирование понятий». Насколько я понимаю из того, что замышлялось Фондом (мы подключились попозже), это была попытка изучить восприятие этих самых базовых понятий, с которыми власть обращается к населению. Понятие реформы, экономический рост, бездефицитный бюджет, льготы, жизненный уровень. То есть достаточно сложные и богатые слова. И хотелось бы разобрать, как они понимаются и воспринимаются и насколько этот язык адекватен для тех или иных категорий населения. Понятно, что в том режиме, в котором Фонд проводит это исследование, это мощный конвейер производства первичной информации. Можно себе представить, что каждые две недели 800 интервью. Конечно они разного объема. Мы анализировали первый опрос, в котором было проведено достаточно короткое интервью. Было всего четыре вопроса, которые касались понятия реформы. Слово реформа выступало тестовым стимулом, на котором меряется реакция. А в принципе, по многим дальнейшим понятиям, интервью было более продолжительными и включали в себя от 10 до 14 вопросов. Естественно, такой массив представляет из себя достаточно большой объем информации. Поэтому актуальной становится задача анализа этой информации. Причем для меня одним из главных критериев подхода к анализу является технологичность. Можете себе представить, что каждые две недели появляется массив, в некотором смысле каждые две недели необходимо производить некоторый продукт, который носит уже аналитический, интерпретационный характер. Стало быть, мы должны построить такую технологию, которая в реальные сроки могла бы анализировать эти данные. Насколько я опять же понимаю, но могу ошибаться, сейчас и анализ, и собственно сбор информации, проводятся качественным методом. Тексты читаются, и аналитики Фонда экстрагируют из этого массива, как им представляется, основные сюжеты, основные концепты, которые население высказывает вот в этих интервью. И, соответственно, по ним пишется небольшой обзор. Наша попытка заключалась в том, чтобы помимо того, что делает Фонд, помимо той качественной методологии, предложить нечто другое для того, чтобы попытаться найти что-то новое, что-то отличное от того, что делает Фонд. В этом смысле то, что мы сейчас предложим, является антитезой того, что мы обсуждали на прошлом семинаре. На прошлом семинаре происходило очередное столкновение качественных и количественных подходов. Говорилось, что надо подходить к респонденту по-человечески, трепетно, стараться задавать ему такие вопросы, которые им понимаются и тому подобное.

Крыштановский: Я уже пересмотрел свою позицию (смех)...

Задорин: В данном случае мы предложим некоторую методологию, которая может показаться ну просто надругательством над живой тканью разговора. Это действительно другой полюс: формальная методология, формальный анализ текста. Естественно, что тут возникают свои минусы и свои плюсы. И как бы задача этого семинара, по крайней мере для нас, это попытаться вместе с вами выявить возможности и ограничения этой технологии. И может быть даже сказать, нет, это все за пределами добра и зла. Ну, так все-таки я хотел бы приступить. Мы имеем на входе массив текстов 800 интервью. В данном случае я буду разбирать один конкретный пример коротких интервью по поводу того, что такое реформа. Респондентам задавались четыре вопроса. Как Выпонимаете выражение «Реформы в России», что оно для вас означает. Далее предлагалось закончить своими словами предложение: «Путину следует активно проводить реформы, потому что ...», «Путину не следует активно проводить реформы, потому что...». И «как Вы считаете, какие именно реформы Путину следует проводить в жизнь в первую очередь, чтобы жизнь в России стала лучше?». В общем, состоялся разговор на тему реформ. Итак, мы получили на входе текст.

Крыштановский: Скажите, пожалуйста, был ограничен временем каждый ответ или нет? Это важно для последующего обсуждения.

Задорин: Каких то ограничений не было.

Крыштановский: Значит, если он говорит час, значит час?

Петренко: Он час не говорит.

Ослон: Это зависит от усталости интервьюера. Просто это, на самом деле, повод для разговора. А дальше, поскольку интервьюер записывал рукой, то естественно он значительно сокращал ответ.

Задорин: Но объем текста каждого конкретного интервью совершенно разный. И, действительно, этот объем сильно зависит от психологического состояния того и другого участника интервью. Респонденты бывают достаточно лапидарными в своем тексте, краткими, и бывают разговорчивыми. Теперь я расскажу о целях. Какие цели ставятся перед вторичным анализом данных, которым мы здесь занимаемся. Мы исходим из того, что существует некоторая практическая цель у всего этого исследования. Это все-таки понять основы языка, на котором следовало бы обращаться к населению. Мы предполагаем, что если человека спросить о каком-то достаточно сложном объекте, сложном понятии, и он будет произносить определенные слова, слова-реакции, то это будут те же слова, которые он ожидает услышать, если кто-то другой будет рассказывать ему, например, про реформы. Поэтому, если мы поймем этот самый язык, то мы решим практическую задачу. Мы должны выявить из всего массива самых различных языковых форм некоторые классы, как бы предполагая, что не существует одного языка, а существует несколько языков в общем множестве русского языка, на которых общаются в общем-то разные люди. И если мы найдем эти классы языков и идентифицируем эти классы с соответствующим классом людей, то таким образом мы можем строить более-менее адекватный диалог, обращаясь к определенной аудитории на ее языке. Исходя из этой базовой посылки у нас и возникает задача анализа данных. Попытаться найти классы слов-ассоциаций, которые можно было бы назвать идеологемами вокруг тестируемого понятия. Мы спрашиваем: что такое реформы? Дальше человек произносит некоторый текст. При этом понятно, что один человек на слово «реформы» будет говорить что-нибудь про демократические преобразования, либерализм, монетаризм, денежный агрегат М2 и прочие разные ценности западного цивилизованного общества. А другой человек, когда его спросишь, что такое реформы, он скажет о том, что жить не на что, что не хватает на детское питание, что все разворовали и так далее и тому подобное. Это другой язык. И как нами предполагается, можно каким-то образом кластеризовать эти языки в общем массиве текста. А раз так, то как бы общая методология сводится к некоторой процедуре, которую мы предлагаем коллегам. Итак, весь массив ответов респондентов нещадным и жестоким образом разделяется на отдельные слова. В данном случае использовалась система ВААЛ (Программа анализа текстов, которая кроме обычного контент-анализа претендует на: (1) составление текстов выступлений с заранее заданными характеристиками воздействия на потенциальную аудиторию; (2) активное формирование эмоционального отношения к политическому деятелю со стороны различных социальных групп; (3) составление эмоционально окрашенных рекламных статей; (4) поиск наиболее удачных названий и торговых марок; психо- и гипнотерапия и т. д. Авторы программы именуют ее психолингвистической экспертной системой. К сожалению, разработчики детально не раскрывают процедуры обработки текстов, которые заложены в программе, что делает сомнительным ее критический анализ. Более подробная информация представлена на сайте http://vaal2000.newmail.ru/ - Прим. ред.). Я, если честно, не могу сказать, что в нее зашито. По моему этого не знает никто кроме автора. Но тем не менее она используется для анализа текстов и для того, чтобы просто получить список слов. Она может преобразовывать некоторые словоформы для того, чтобы слово с разными падежами привести к одному слову. После первого шага мы получили исходный список восьми тысяч слов.

Чесноков: Сколько людей было в первом массиве...?

Задорин: 800 человек.

Крыштановский: 8 тысяч слов - это имея в виду предлоги, местоимения?

Задорин: Да, все слова. На вход подали массив текстов и самым формальным образом получили 8 тысяч слов. Далее, этот список слов включал в себя слова, которые мы условно называли стоп-слова: служебные слова, предлоги, слова из двух-трех букв, которые не имели смысловой нагрузки. Мы понимая, что кластеризовать весь этот массив невозможно, попытались уменьшить размерность. На втором шаге мы провели процедуру категоризации, когда слова, имеющие сходный смысл (например, бедный, нищий, или наоборот, богатый, благополучный) были объединены в одни категории. Фактически это замена определенного ряда близких по смыслу слов, одним словом-категорией, которое таким образом берет на себя смысловую нагрузку. И у нас из общего списка слов...

Косолапов: Это Вы сами делали?

Задорин: Сами делали. Это на самом деле ручная работа. Хотя я допускаю, что возможно используя какие-то богатые словари, можно это формализовать.

Крыштановский: После исключения стоп-слов сколько осталось?

Задорин: Пять тысяч слов осталось. Пять тысяч слов осталось. Все слова мы разделили на две части: стоп-слова – это весь мусор и словарь категорий. У нас получилось 472 категории. То есть в некотором смысле мы получаем объединение в среднем по десять слов. Конечно, есть категории, которые включили в себя двадцать слов, а есть небольшие. Ольга Борисовна в случае чего расскажет про эту мучительную работу. Мы получили категоризированный словарь. На третьем шаге нам надо перевести первичный текст респондента только в те категории, которые мы как обобщенные понятия установили. Таким образом, мы составляем простую матрицу употребления категорий, где по строкам отложены респонденты (800 человек), по столбцам – соответствующие 472 категории, а на пересечении стоит частота. То есть i-ый респондент употребил в своем интервью три раза какие-то слова, относимые к j-ой категории. Эта матрица представляет собой исходный материал, который позволяет нам переходить к кластеризации. Ясно, что попытка привести живой текст к некоторым категориям связана с определенным насилием. Здесь есть трудности и слабости, которые мы видим и которые тоже хотелось бы обсудить. Но тем не менее, после получения матрицы употребления категорий мы можем проводить кластеризацию. Мы строим меру близости между этими категориями. Сначала мы ищем близость между категориями. В данном случае здесь как раз задача и состояла в том, чтобы все-таки получить эти идеологемы, как некоторые комплексы слов-ассоциаций. То есть как бы предполагая, что они объединяются на основе как бы одновременного вхождения в текст одних и тех же респондентов. На этом и строится близость.

Чесноков: Игорь, у вас формула этой меры есть?

Задорин: В данном случае мы пробовали Джеккарда, мы пробовали Ланса Вильямса, в конце концов итог, который представлен в докладе – это Ланс Вильямс.

Чесноков: Формула есть на доске? Чтобы понять просто, как работает тот метод....

Задорин: Нет, здесь нет. Но смысл – он понятен. Категории тем ближе к друг другу, чем чаще они встречаются в интервью одного и того же респондента.

Чесноков: Значит по частоте.

Задорин: По частоте. Итак, мы получили кластеры-категории. После того, как мы получили эти объединения, естественно, там тоже был некоторый отсев. То есть кластеризация происходила не на всем массиве 472 категории. Мы отбрасывали категории, которые имели малую частоту использования. Получив эту кластеризацию, мы потом решали как бы обратную задачу: приписывание респондента данной идеологии, как бы данному кластеру-ассоциации, данному языку. Понятно, что здесь тоже не четкая классификация, поскольку каждый респондент, при всем при том, что он произносит слова чаще всего из одного доминирующего кластера, все-таки допускает в своей речи и слова, принадлежащие каким-то другим кластерам. Поэтому можно говорить о том, что каждый человек, в той или иной доле принадлежит разным кластерам. И после этого мы вычисляли мощность этих самых идеологических кластеров, понимая под мощностью распространенность. То есть какой долей из всей выборки респондентов используется данный класс. На слово «реформы» у нас получилось 12 кластеров. Некоторые слова, которые мы объединили в кластер один, общи для подавляющего большинства респондентов, то есть существует некоторый набор слов, который произносится всеми вне зависимости от культурного стереотипа. Это есть некоторый общий набор слов. Мы, его выделили в один общий кластер. Он включал в себя самые общие слова: человек, народ, государство, работа, производство, доход, деньги, собственность и так далее. Понятно, что некоторые из этих слов можно считать наведенными самой темой, и поэтому они в любом случае обязательно произносятся практически всеми респондентами. А далее появилась некоторая специфика. То есть выявились некоторые кластеры-категории, которые специфичны для разных групп респондентов. Итак, кластер номер два – это слова, которые в той или иной степени отражают социальные проблемы. Ключевыми категориями, вошедшими в данный кластер были: бедность, преступность, безработица, проституция, наркомания, алкоголизм, деградация, голод и так далее. И здесь уже была определенная привязка, что чаще всего эти категории использовались людьми старшего возраста, со средним образованием. И, кстати, выявилось, что немножечко большая частота использования этого кластера людьми, работающими в области культуры, науки, образования, здравоохранения. В общем тоже понятно: социальное положение так или иначе провоцирует на произнесение именно этих слов в ответ стимульное понятие. Третий кластер интерпретирован нами (но на самом деле это не факт) как госаппарат. Эта категория включала в себя слова. связанные с властью и управлением: бюрократия, казнокрадство, чиновничество, госаппарат, госсобственность и так далее. Государственный контроль – кластер, который включал в себя слова: суд, конституция, закон, кодекс, порядок и так далее. Я просто перечислю некоторые любопытные кластеры, Кластер который включал слова: наука, интеллект, книга, СМИ, мы условно назвали научно-интеллектуальным кластером. Не очень мощный по распространенности кластер, но тем не менее оказалось, что эти слова достаточно часто использует молодежь, студенты, люди с высшим образованием, Понятно почему. Потом была произведена совсем хитрая процедура: мы попытались найти...

Крыштановский: Что означала предыдущая картинка? Ты ее показал, ничего не сказал и пошел дальше? (Выступающий демонстрировал слайды - Прим. ред.)

Задорин: Виноват. Тогда я попытаюсь прокомментировать... Употребление всех категорий, которые мы кластеризовали возьмем за сто процентов. Будем говорить о том, что доля респондентов, которые оказались приписаны к данному кластеру-категории – это та самая мощность кластеров. То есть имеется в виду доля респондентов, для которых именно этот язык, так скажем, этот набор слов-ассоциаций наиболее близок. Вот оказалось...

Крыштановский: Игорь, сразу интересный вопрос, а сумма процентов какая? Сколько в среднем один респондент получил категорий?

Климова: Проценты от чего?

Задорин: Это нормировано. Это сумма сто процентов.

Петренко: Но вот здесь 20% респондентов или 20% категорий?

Крыштановский: Респондентов.

Задорин: Не-не-не. Я еще раз повторю. Это какая доля людей вошла в тот или иной кластер. Но когда мы говорим вошла, это означает, что...

Чесноков: Кластеры не пересекаются.

Крыштановский: Я не могу в своем ответе две категории использовать?

Задорин: Я пропустил одну методологическую вещь, спасибо большое и прошу прощения. Каждый респондент имеет некоторую частоту употребления слов по каждой категории, но кластеризацию мы делали таким образом, что объявляли доминирующую частоту единицей, и таким образом приписывали респондента все-таки к одному кластеру. Потому что кластеризация на этих первичных частотах у нас почему-то не получилась. Мы все-таки здесь огрубили ситуацию.

Крыштановский: Кардинально.

Задорин: На самом деле не сильно кардинально...

Крыштановский: Для кого-то сильно, для кого-то не сильно.

Задорин: Для кого-то все-таки доминанта была видна ...

Рогозин: Доминирующая частота с какой величины начинается?

Задорин: Доминирующая – факт для данного респондента.

Магун: У вас получилась матрица, в которой по каждой строке единицы и нули.

Задорин: Да, да, да. Вот та матрица, которую я показал, в конце концов была приведена к бинарной матрице.

Крыштановский: Причем по строке не более одной единицы?

Задорин: Возможно, Денис Олегович меня поправит. Потому что там мы использовали очень много вариантов. И я могу, если честно, запутаться.

Стребков: То была матрица категорий. Элементами ее было число упоминаний данным респондентом определенных категорий. Потом она была приведена к дихотомической, то есть употребил человек слово из данной категории или не употребил. И после этого между такими столбцами...

Крыштановский: Тогда сумма должна быть больше ста.

Климова: Нет, он сказал :«наука и кушать хочется» и вы записали в «науку». А если бы он сказал: «кушать хочется и наука», то вы бы записали в «кушать хочется» . По первому слову? Да?

Стребков: Нет... Мы дальше сделали несколько волюнтаристский прием. Мы считали, что человек, в принципе, есть такое существо раздвоенное... Он может наполовину...

Задорин: Даже не раздвоенное, а растроенное, расчетверенное и так далее

Стребков: Да, он может на пятьдесят процентов относится к одному кластеру и на пятьдесят процентов к другому.

Задорин: Нет. Вот посмотри на эту картинку. Я это тоже не понимаю. Почему здесь сто процентов то? (смех в зале) Мы все время говорили, что респондент принадлежит с некоторым весом, с некоторой долей разным кластерам. Почему здесь сто процентов, почему здесь разделение?

Стребков: Потому что здесь суммированные не респонденты, как единицы, а доли ... суммированные. Получилось сто процентов.

Климова: То есть веса? Вы ответам приписывали веса какие-то?

Крыштановский: Поэтому мой вопрос, с которого все началось, очень простой. В среднем к скольким кластерам отнесся респондент?

Стребков: Это очень по-разному.

Крыштановский: В среднем, к полутора, к трем?

Стребков: Я не могу сказать.

Задорин: Там невозможно сказать.

Крыштановский: А почему невозможно то?

Стребков: Это можно, но просто...

Задорин: Стоп, стоп, стоп. На самом деле там были респонденты, которые в некоторых долях практически во всех кластерах присутствуют. У них богатый язык. И есть респонденты, которые употребляли слова только из общего, первого кластера и вошли только в него.

Стребков: Вот вырезанные два кусочка, первый кусочек – это те, кто совсем мало сказал, их 7%, то есть почти ничего не сказали, и их было как бы невозможно никуда отнести. А второй кусочек, побольше, 20% - это те, которые говорили слова только из общего кластера.

Крыштановский: Тем не менее, можно ли сказать, что в среднем респондент относится к трем кластерам. Некая абстракция, разумеется. Но можно это посчитать?

Стребков: Можно посчитать...

Магун: А можно перечислить кластеры?

Задорин: Да. Кластер «социальные проблемы» я так буду читать – 15%, «госаппарат» - 3%, «государственный контроль» – 26%, «планирование реформ» – 6%, «наука, интеллектуалы» - 7%, «неуверенность в завтрашнем дне» – 9%, «место России в современном мире» – 2%, «невыполненные обещания» – 2%, «демократические преобразования» – 3%.

Магун: Получается 100%

Чесноков: Матрица была составлена из единичек. Какое правило получения единичек? Если частота выше определенного порога?

Задорин: Нет. Если она не ноль.

Стребков: Если человек сказал хоть какое-то слово из данного кластера.

Задорин: Первично мы отлично понимаем, что каждый человек с разной долей употребляет эти самые слова и с разной долей входит в эти самые кластеры. Но при кластеризации мы фактически установили один вес. То есть если он вообще употребил это слово, значит оно у него есть в языке, мы, естественно, ставим ему единичку.

Климова: То есть, у разговорчивых у вас есть больше шансов...

Задорин: Нет. Вот именно для того, чтобы у них не было больше шансов, значит, чтобы они частотой своей по одной какой-то категории не задавили, им была присвоена единица. Не разговорчивые, а богатые на язык, то есть употреблявшие слова из самых разных категорий получали очень много единичек.

Климова: Если разговорчивые попадали в разные кластеры, то у них было больше шансов говорить за молчаливых? Так?

Задорин: Смотря что они говорят. Если из одного кластера, то неважно.

Ослон: Он может говорить из одного кластера, но очень много. Тогда одна единичка. А другой сказал А , Б, а А и Б из разных кластеров – значит двоечка.

Крыштановский: С другой стороны, поскольку у разговорчивых вообще много слов выскакивает, самых разных ваша мысль правильная.

Задорин: Почему мы и сказали, что основная задача это кластеризация самих категорий, а не респондентов. В этом смысле оценка их распросранения – это вторая задача. И мы тут видим некоторые слабости этих самых подсчетов. Ну, входит он объективно в эти самые кластеры, и каким образом эти мощности посчитать? Есть много разных подходов и оснований. Но тем не менее близость категорий друг с другом на основании употребления их одним и тем же респондентом, это мне кажется достаточно понятно.

Ослон: Можете пояснить еще раз, как эти проценты получились?

Задорин: По этому вопросу я к Денису отсылаю, потому что я запутался в нем...

Стребков: Ответ каждого человека принимается за единицу. И при этом можно было считать, что он на 0,3 в одном кластере, 0, 5 в другом и на 0,2 в третьем. И мы тогда уже складывали... Ответ человека – это единица. И потом, просуммировав некоторые доли по каждому кластеру, мы получим как бы некое число людей, которые, вот этих полулюдей, которые туда попали. И в сумме это будет 800.

Задорин: Разные кластеризации. Кластеризация категорий и кластеризация респондентов. Когда мы говорим, что мы осуществляли кластеризацию категорий по близости, то используем дихотомическую матрицу из единичек и нулей. А когда мы приписывали респондента, мы все-таки используем частотную матрицу, но нормированную. Нормированную так, что некоторая сумма этих частот равна единице. Вот и все. Так?

Стребков: Да.

Задорин: Десять раз про это рассказывали.

Чесноков: Две метрики было или одна? Какая метрика использовалась при кластеризации категорий и какая при кластеризации респондентов. То есть это была одна и та же метрика, везде по частоте?

Задорин: А мы не кластеризовывали респондентов, в том то и дело – там не было кластерного анализа.

Чесноков: Вы взяли по доминанте. Принадлежность респондентов к доминирующей...

Задорин: Нет, мы вообще никак не брали. Я сейчас вернусь к той матрице... и на ней покажу. Вы представьте, что здесь сначала частоты стоят, а потом мы сумму частот отнормируем. Теперь берем и сумму делаем по столбцу. Вот и все. Вот этот процент и получается.

Чесноков: Значит, одна и та же метрика. По частотам так, а по другим частотам так.

Крыштановский: Там метрики нет, Сережа.

Чесноков: Не, ну мера близости..

Задорин: Это в некотором смысле получалось вот та самая мощность или распространенность данной категории...

Крыштановский: Мера близости... Когда у тебя большой кусок пирога или маленький, это тоже степень близости...

Косолапов: Значит, суммируем по категориям входящих в кластеры...то есть складываем столбцы, собранные по кластерам.

Задорин: Да.

Косолапов: А столбцы складывались исходя из бинарной матрицы.

Магун: Нет..

Петренко: А кластеры как получались? Я что-то уже... Назначали кластеры? (смех)

Задорин: Нет... Подождите, подождите.

Ослон: Каждому столбцу соответствует категория. Категория разбита на кластеры.

Петренко: По смыслу?

Ослон: Нет, не по смыслу, а по ноликам и единичкам. Об этом было рассказано. А потом уже когда получились категории, грубо говоря, надо сгруппировать столбцы, соответствующие кластеру и сложить частоты нормированные. И получается распространенность кластеров.

Задорин: Да, распространенность кластеров. Распространенность определенного языка как бы в нашей грубой интерпретации.

Ослон: Ясно. Спорно, но ясно. Или наоборот. (смех в зале)

Задорин: Я все-таки думаю, что ясно, но спорно. (смех в зале) Имеется в виду.. Теперь я перехожу к спорным моментам. На самом деле вся эта процедура...

Крыштановский: То есть до этого все было пока бесспорно (смех в зале)

Задорин: Теперь о названиях кластеров. Названия – это конечно, попытки интерпретации, то есть в некотором смысле приписанный нами некоторый лейбл для совокупности слов. Если мы видим слова: бедность, преступность, безработица, проституция, наркомания, алкоголизм, деградация, обездоленные, голод, беспризорные, то пишем – социальная проблематика. Или можно написать острые социальные проблемы. А если мы видим: госаппарат, чиновничество, бюрократия, госсобственность, казнокрадство, то пишем госаппарат. Ну, это повторяю, некоторая интерпретация, достаточно стандартная, типовая процедура при любом там факторном анализе или еще что-то. Понятно, что здесь есть издержки, есть субъективизм как бы исследователя, который проводил ...

Чесноков: Не получалось так. что половина «аппарат», а половина «социальные проблемы»?

Задорин: Кластеризация для чего делается? (смех в зале) Суть в том, ...В графическом анализе всегда стоит проблема отсечения. На каком уровне дерево отсекать? Понятно, что были разные у нас подходы и на детальном разделении, и на каком-то общем. Естественно, вот эта общность она определяется интерпретируемостью, то есть адекватностью интерпретации. Если мы возьмем больший уровень объединения, в кластер включались совершенно разные слова, то никуда не деться, надо его делить.

Крыштановский: Игорь, а не пробовали, вот здесь вроде бы как естественно первая часть задачи делать факторизацию, а не кластеризацию? Вроде как естественно... Если пробовали, то мне интересно, что получилось?

Задорин: Нет.

Крыштановский: Что нет?

Задорин: Не пробовали.

Крыштановский: Да...

Ослон: Я как раз пропустил, казнокрадство – это что? (смех в зале)

Задорин: Казнокрадство попало в категорию бюрократия...

Ослон: Это категория или слово?

Петренко: Категория. Слов нет.

Задорин: Категория.

Ослон: А почему списка нет категорий? Надо написать.

Задорин: Да, это большая база. 472 категории, которые включают в себя около 5 тысяч первичных слов.

Магун: А не пресекались? Были такие категории, которые в оба кластера входят? Или Вы этого избегали?

Задорин: Это Вы как раз к спорным моментам подходите... Еще разок как бы резюмирую. Задачей было собственно осуществление попытки надругательства над текстом, но с продуктивным выходом. То есть весь живой массив текстов пытаться разделить на элементарные слова-понятия и найти их ассоциации. Предполагая, что когда человеку на вход подают слово-стимул, «реформы» или еще какое-нибудь, «бездефицитный бюджет» там, «экономический рост», он реагирует некоторым набором слов, который ему присущ. И который, собственно говоря, как мы предполагаем и есть его язык. Вот для того, чтобы найти эти комплексы, типовые наборы слов, употребляемые как реакцию на стимульное понятие, значит, использовалась вся эта процедура. Практический смысл тоже ясен. Если мы найдем эти наборы, и этим набором идентифицируем их носителей, то соответственно, получим возможность говорить с разными аудиториями на их языке. По поводу...

Климова: Игорь, а Вы уверены....

Задорин: По поводу, конечно, только этих тем. Это мы выяснили в дальнейшем, когда пытались ту же самую процедуру делать по понятиям «собственность» и по понятию «власть». Значит там уже видно было, что и словарь поменялся, и кластеризация там особая получалась для каждого опроса. Все-таки пока можно говорить только о том, что, если мы говорим про реформы, вот тогда мы действительно говорим, что мы нашли некоторый набор этих слов про реформы. А если мы говорим про что-то другое, то там другие...

Косолапов: Игорь, скажите, пожалуйста, Вы не боитесь того, что Вы назвали в качестве слова-провокатора «реформы»? Соответственно, набрали целый набор слов (понятий, на самом деле), которые сами по себе могут понятиями быть такого же уровня, как и «реформы». И с этими же понятиями существует та же самая проблема. Вы не говорите с людьми их языком, потому что все группы в «коррупцию» или что-то другое вкладывают такую разноголосицу. И тогда задача закругляется и выхода нет.

Климова: Игорь, Вы уверены, что Вы имеете дело с языком респондента?

Задорин: Ничего себе! (смех) Это я Вам хотел вопрос этот задать (смех в зале) Все-таки я фомовский материал использовал. Мне кажется, что все-таки это язык респондента. Если, конечно, интервьюер ему не сильно подсказывал. Что вот здесь надо произнести слово «коррупция»...

Климова: Вы делаете доклад, что Вы перетасовываете?

Задорин: Нет, а как? Конечно, да.

Климова: Вы должны были бы изначально удостовериться в том, что это язык респондента, а не интервьюера. И только после этого с ним работать.

Задорин: Последнее это за пределами нашего анализа, потому что это базовая вещь. Мы предполагаем, что то, что мы получаем в виде текстов интервью, есть язык респондента. И более того...

Крыштановский: Матрицу такую построить, картиночку, для разных интервьюеров. И видно будет она одинаковая или разная. Все же элементарно. (смех в зале)

Ослон: Я не понял, а что пошли вопросы? Ты же не досказал. Дальше то некоторая специфика групп...

Петренко: Да, действительно, поскольку..

Ослон: Тише, тише... действительно, я говорю сейчас. Значит, ты же там занимаешься еще выделением или, по крайней мере, характеристикой каждого кластера через специфику каждого респондента, которые чаще употребляют слова этого кластера.

Задорин: Да... Дело вот в чем. Все-таки темой этого доклада являлось методология анализа. То есть в этом смысле мы все-таки хотели обсуждать, прежде всего процедуру этого надругательства над живым текстом. Все-таки массив текста имеет характеристики, которые мы можем использовать: пол, возраст и так далее. И в этом смысле можем идентифицировать группу людей, которые чаще употребляют слова данного кластера. Я правильно говорю?

Ослон: Ну, да, интересно на самом деле, что для каждого кластера есть специфика социума.

Петренко: Вот это сильно сомнительно.

Задорин: Есть, есть. Действительно, как раз получается, что есть один общий кластер, который в общем свойственен всем. Я допускаю, он наведен темой. Это я Михаилу Самуиловичу говорил, что да, действительно, там есть набор слов, который употребляют все респонденты вне зависимости, повторяю от их...

Косолапов: Я не про это говорю. Я говорю, что Вы объединяете респондентов по близости понятий, по частоте...

Задорин: Да.

Косолапов: Я говорю, что там-то внутри существует та же проблема. Среди людей, которые употребили слово коррупция для интерпретации того, что Вы им говорили. Если Вы дальше спросите, что такое коррупция, то пойдет также. Они тоже развалятся, точно также как на верхнем уровне. И образуют новые кластеры. И кластеры могут не совпадать...

Задорин: Понятно. Я на это отвечу. Возвращаясь к социально-демографическим характеристикам, к описанию этих респондентов. Да, есть некоторый общий кластер, который присущ всем. И в этом смысле мы можем сказать, что да, это те слова, которые наведены самой темой. Понятно, что, если респондента спрашиваешь про реформу, ну, наверняка, там само слово реформа, которое респондент тоже произносит, и Путин, и Россия и так далее. Они как бы очевидно произносятся всеми. Но все-таки есть некоторые наборы слов-ассоциаций, которые уже все-таки специфичны для определенных категорий. Вот, например, кластер «Демократические преобразования» который на самом деле имеет достаточно низкую распространенность, у нас получилось порядка 3%. «Демократические преобразования», что туда вошло: демократия, идеология, авторитаризм, переход, Запад, цивилизация. Типичные тезисы, это прямой текст: «реформы в России – переход России от тоталитаризма к демократии, новому обществу, свободному и открытому, более цивилизованному». Ясно, что сам текст, видно, что это специфичный текст.

Чесноков: У нас же лексика должна быть... лексика.

Батыгин: Скажите, а у вас есть файл с частотным распределением индексирования.

Задорин: Да.

Батыгин: Хотелось бы посмотреть на верхнюю часть, потому что это стандартное распределение для всего языка русского.

Задорин: Да, наверное.

Батыгин: Покажите, если можно, частотное распределение.

Задорин: Нет, здесь нет. Эти слова, входящие в этот кластер «Демократические преобразования», которые я произнес. В данном случае цитата «В России должно быть цивилизованное общество, нужно стремиться к мировой стандартности, жизненный уровень должен приближаться к уровню развитых стран Запада, свободная, цивилизованная открытая страна, от тоталитаризма к демократии» и так далее. Вот эти выражения и слова-категории, вошедшие в данный кластер, наиболее характерны для людей с повышенным доходом, людей с высшим образованием, жителей Москвы, руководителей. Можно говорить о том, что вывод как бы небогатый. Мы можем сказать, что, наверное, такие слова как бы употребляются продвинутой, с повышенным статусом публикой. Ну, тем не менее, это результат. И то, что в общем кластер мало распространенный, мы можем, таким образом в некотором смысле оценить распространенность данного языка. Ну, по крайней мере на той выборке...

Магун: А вот власть? Можно про это еще рассказать. У вас есть власть, кто по портрету они?

Задорин: Например, «Неуверенность в завтрашнем дне». Понятия: безопасность, будущее, страх, недоверие, усталость, кризис, падение, смерть, сдвиг. Такие слова, которые мы номинировали как категории, относящиеся к некоторому отношению к будущему, причем к неуверенному отношению. Тезисы: «Человек у нас совершенно беззащитен, никто из граждан не уверен в завтрашнем дне». Это я цитаты привожу, которые относились к этому кластеру. Для кого характерно: женщин, военнослужащих, учащихся и людей старшего возраста.

Магун: А вот про власть у вас есть такой кластер есть, можно?

Задорин: Про какую власть?

Магун: Вы назвали его так – власть.

Задорин: А Госаппарат... Сейчас зачитаю. Этот текст в общем то доступен. А мне про методологию хотелось бы поговорить.

Магун: Мы же понимаем, что главное...

Задорин: «Госаппарат»: Основные тезисы: «Зарплата чиновников во много превышает зарплату простых людей, необходима реорганизация аппарата чиновников, уменьшить количество парламентариев, отменить незаслуженные льготы, реорганизовать, сократить госаппарат». Для кого характерно? Оказалось, что этот кластер тоже достаточно размытый по большинству, то есть мало категорий, для которых он был бы специфичен. Но, в принципе, все-таки для жителей Санкт-Петербурга (смех) этот кластер оказался действительно специфичен, в том смысле...

Крыштановский: Они сейчас формируют госаппарат, поэтому..

Магун: А процент какой?

Задорин: Этот кластер маленький. А вот «госконтроль» распространенный, 26%. Слова: порядок, развитие, управление. Антитезы: анархия, воровство, коррупция, ложь, конфликт, война, армия, влияние. Можно по разному интерпретировать. Мы отнесли эти слова к государственному управлению. Вообще говоря, корректнее было бы просто назвать управление. Или управление... порядок, развитие, управление, анархия, воровство, коррупция, конфликт, война, армия. Для кого специфично? Мужчин, больше, чем женщин, людей с высоким образованием, руководителей предприятий и учреждений.

Магун: А процент?

Крыштановский: Сколько же там было руководителей предприятий в такой выборке ?

Задорин: Поэтому я и говорю, что...

Магун: Процент какой: Какая емкость этого порядка или контроля?

Задорин: «Государственный контроль» – 26%. По распространению данных слов доля достаточно велика.

Магун: Какой самый большой кластер?

Задорин: Он и есть. Там же и вопросы были соответствующие. Все-таки и вопросы про реформы задавались. Что Путину надо сделать? Если мы проведем интервью на другие понятия: жизненный уровень, собственность, то я допускаю, что, конечно же, там будут другие кластеры и более того, там будет другое распределение по мощности. (пауза) Можно все-таки перейти к некоторым слабым местам и самому задать несколько вопросов? (пауза) Мы везде писали, что это эксперимент. Строго говоря, если уж совсем быть честным, он вообще инициирован совершенно дурацким вопросом некоторых людей, потребителей продукта: а можно ли еще что с этим сделать, кроме качественного анализа, кроме этих текстов? Вопрос был ровно такой. Понятно, что это некоторый наш ответ: в принципе можно. Мы в данном случае предложили такую методологию, причем понятно, ориентированную на очень конкретную цель: попытаться экстрагировать некоторые как бы классы слов-ассоциаций с понятными целями. Второе. Адекватна ли данная методология нашей цели, в чем ее ограничения, минусы или в чем она вообще неадекватна? Вот это вопрос важный. Дальше, понятно, что все-таки у этой методологии, технологии есть шанс, что она что-то дает. Нам кажется, что она может каким-то образом что-то давать и быть, скажем, не хуже, чем многие другие формальные подходы к большим текстовым массивам. Как ее можно улучшить? Вот в некотором смысле три таких вопроса. Причем первый можно опустить – не совсем относится к методологическим. Два последних: насколько адекватно технология и в чем ее ограничения и можно ли каким-то образом ее улучшить? Это те вопросы, которые нас сильно занимают, потому что в принципе есть желание продолжить эксперимент. Я сразу хочу сказать, что трудности, которые мы обнаружили и считаем для себя важными не относятся даже к задачам кластеризации, они скорее относятся к первым шагам, а именно к шагам, когда строились первичные словари. Во-первых, сам ВААЛ грешит. И там доходит вплоть до анекдотических случаев. В первый раз вдруг обнаружилось, что достаточно высокочастотным словом является слово «какать», прошу прощения. Может быть, ну черт, действительно, народ использует такую лексику. Выяснилось, что на самом деле он преобразовывал слово «какая», как деепричастие в глагол соответствующий.

Крыштановский: Это вошло в результаты? (смех)

Батыгин: Извините. Подскажите, как ВААЛ из ответов респондентов делал списки слов. Это очень задача экзотическая. Как это ВААЛ делал?

Задорин: Здесь я точно скажу... Я вначале сказал, что я не знаю, как устроен ВААЛ, что в нем зашито. Но...

Батыгин: Просто список слов из ответов можно сделать без ВААЛа, взять частотное распределение...

Крыштановский: Это словоформы. Здесь то слова и словоформы. Причем здесь список?

Задорин: Он умеет слова с разными падежами все-таки сводить к одному.

Батыгин: Он просто зачеркивает два или три последних символа. Причем здесь ВААЛ? Какую задачу решал ВААЛ между этими двумя ящиками?

Задорин: Это просто оказавшийся под рукой инструмент. Это один из справедливых вопросов, каким образом здесь может быть использован другой инструмент? Я уверен, что существует еще куча инструментов. В данном случае мы эксперимент поставили на самых простейшом, что было под рукой.

Батыгин: Ответы респондентов, простите, что перебиваю, были зафиксированы на бумажке?

Задорин: Почему, в электронной форме.

Батыгин: Они были набиты с бланков интервьюеров?

Задорин: Да.

Батыгин: Они были набиты в виде списков отдельных слов или словосочетаний?

Задорин: Это текст. Я сейчас вам приведу конкретные примеры. Ответ на вопрос: как Вы понимаете слово «реформы в России» , что оно для вас означает? Ответ: «от реформ жизнь становится все хуже и хуже. На основании того, что много людей живет очень плохо, бомжи, безработные, алкоголики, и все это идет от наших реформ». Прямой текст. То есть понятное дело, что тут по стилистике это не очень ровное предложение, хотя понимаю, что может быть «эх, м, б» – уже опущено на ранней стадии.

Батыгин: Теперь понятно.

Крыштановский: Я думаю, что есть проблемы с ВААЛом, который, как я думаю, ориентирован действительно на преобразование слов в словоформы, он как любое такого рода программное средство ориентирован на правильное с точки зрения грамматики русского языка построенное предложение. А здесь очевидно...

Ослон: Он слова выделяет и чисто формально приводит...

Крыштановский: А как быть с перемежающимися корнями, что в русском языке в изобилии.

Батыгин: Да нет этого.

Крыштановский: «Какать» же он вытащил из «какая». Правило образования из деепричастия...

Батыгин: Нет, Саша. Он маркирует слово как сочетание символов между двумя символами, которые называются пробелами. Вот и все.

Задорин: Все равно там зашито что-то. Иначе он не может сделать. Так бы и оставил «какая». Так бы и не преобразовывал в «какать».

Батыгин: Это по Word-кому словарю делается, он в Word-е слова ищет и автозамену ставит.

Ослон: Это касается ВААЛа. Но в принципе, существуют, гораздо более продвинутые системы, например, всем известный Яндекс основан на полном, правильном морфологическом разборе.

Крыштановский: Правильный морфологический разбор правильных предложений русского языка. Здесь это нарушается наверняка.

Задорин: Слова-то здесь как бы большинство правильные, все почти правильные, запись-то их уже правильная.

Крыштановский: Использование падежных окончаний...

Задорин: Была там идея использовать систему Яндекс, но она как бы тоже закрыта. Под рукой ее не оказалось.

Ослон: ВААЛ мы знаем, что это такое ... вместе с автором... То, что там сделано, наверняка просто... В нашем варианте вообще об этом речи не идет... Сделал какую-то примочку за два вечера, которая превращает деепричастия в глагол.

Задорин: Не всегда удачно. Понятно, что на первом шаге задача разложить весь текст на элементарные слова. Естественно, эта задача может решаться разными способами. В данном случае использовался один конкретный инструмент. На втором шаге – это серьезные веши, как бы связанные с вынесением вот этих мусорных слов. И здесь как бы есть принципиальная задача вот этого самого уровня. То есть мы последнее время попытались с большими массивами работать. Допускаем, что дальнейшие эксперименты надо проводить при более жесткой фильтрации. Больше слов отсеивать перед категоризацией. Но поскольку все разделяется на отдельные слова, то некоторые из них мы не можем однозначно идентифицировать. Например, проблема с частичкой «не». Понятно, что ВААЛ ее выделяет и все. После этого глагол остается глаголом, а смысл может быть самый разный.

Крыштановский: И как Вы решаете?

Задорин: Дело вот в чем. До некоторой степени это не трагедия, поскольку все-таки мы интерпретируем слова в большом количестве. Вот когда скомкали их в кучу, 60 слов, то мы можем допустить, что из слов «воровать» или «не воровать» будет у нас в конце концов только «воровать». Мы предполагаем, что это к одному языку относится и не столь страшно.

Крыштановский: Прилагательные вас вообще не интересуют, фактически?

Задорин: Другое дело, что «хорошо» или «не хорошо», вот оценочные вещи – это, конечно, посложнее.

Крыштановский: Нет, в начале у вас это было неважно. Главное он сказал Путин. А хороший или не хороший - неважно .

Ослон: Например, респондент говорит: «зачем нам нужна эта демократия». И попадает сразу в демократический кластер. (смех в зале)

Задорин: Вот очень хороший пример. На самом деле мы это обсуждали. Он попал бы именно туда, если бы он сказал только это. Но поскольку кластеризация существенно завязана на очень много слов, то, если он произнес очень много слов из другого кластера, его утянет туда. То есть вот эта метрика все-таки утащит его в другой кластер, а не в этот.

Ослон: Это метафора, что его утянет.

Задорин: Нет, это не метафора... Потому что...

Ослон: Никаких по этому поводу более точных сведений мы не знаем.

Задорин: Нет. Отлично. Поясняю. Один человек произнес слово: зачем нам нужна демократия. И все. Когда мы ищем близость между различными категориями, мы используем все 800 человек. Правильно? И если 10 человек со словом демократия произнесли «Запад», а один говорит о том, что это «плохо», то демократия все-таки склеится со словом «Запад» скорее, чем со словом «плохо». А слово плохо скорее склеится там, где про социальную проблематику. В этом смысле утянет. Потому что на большом массиве статистика как бы...

Крыштановский: Если пример со статистикой, то я думаю, что будет пятьдесят на пятьдесят. Половина будет говорить, что демократия – это гадость, вот посмотрите, демократы всю страну схавали. Вторая половина будет говорить демократия – это да, да, все отлично. И в этом случае ничто никуда не утянет.

Задорин: Все правильно, но слово «гадость» будет лепиться с кучей других слов, к которым у них...

Крыштановский: «Гадость» вообще никуда не попадает, гадость – это определение в данном случае. Где у тебя категория «гадость»?

Магун: Разве только существительные?

Задорин: Я хочу сказать, что заведомо не произнес и пяти процентов всего набора категорий.

Магун: У вас вообще разве только существительные?

Задорин: Нет, почему? Там могли быть и прилагательные.

Крыштановский: Категории, я так понимаю, так же делятся. Есть категории тематические, есть категории оценочные.

Задорин: Глаголы, существительные, прилагательные – все есть.

Магун: Еще Вы не сказали, может ли демократия входить в оба кластера, Вы обещали, что потом скажете. Демократия, или любое другое слово, как фактор, может иметь вес и по другой категории.

Задорин: Поскольку у нас использовался классический кластерный анализ, то понятно, что там разделение было четкое.

Крыштановский: А Вы руками ничего не подкручивали? (смех)

Задорин: Значит...

Крыштановский: Потому что появляется противоестественное слово. Отличный кластер, но одно слово совершенно дикое. В данном случае это вопрос, который, как я думаю, все понимают.

Задорин: Шумы есть.

(ОБЩИЙ СМЕХ)

Задорин: Как в любом подобном анализе. Безусловно. Вроде кластер – из пятидесяти слов. Все лепятся. Вдруг два-три слова ну – совершенно никак. Есть такие явления. Относиться к ним как-то однозначно трудно. Я не могу сказать, что это ошибка. Это могут быть действительно слова с очень хитрым смысловым содержанием респондентов, которые мы, на самом деле, не можем проинтерпретировать. Мы говорим, почему это они попали в этот кластер, ну никак не должны. А в логике и в смысловом понимании респондента – нормально. Мы можем такое представить? Когда странные с нашей точки зрения слова попадают в не совсем интерпретируемый кластер, с этим надо работать.

Черняков: А Вы не пробовали возвращаться к первичным текстам, чтобы посмотреть контекст странного слова?

Задорин: Конечно, первым делом возникает мысль вернуться на этап категоризации. Взять и перестроить эти категории. Одно слово перенести в какую-нибудь другую категорию и так далее.

Крыштановский: Сейчас речь о другом. В сам текст залезть.

Черняков: Посмотреть контекст, в котором это слово было, то есть сам ответ респондента.

Задорин: А, вот в чем дело. Безусловно. Тоже упустил. Когда мы провели эту всю процедуру, для того, чтобы лучше интерпретировать, мы искали так называемых, типичных представителей. То есть в этом смысле респондентов, которые имели наибольший вес по этим самым категориям. То есть они очень много употребляли именно тех слов, которые попали в данный кластер. Мы вытягивали типичных представителей и, соответственно, выводили их текст. Для того, чтобы понять, что они действительно говорили. При этом выводе мы действительно обнаруживали ошибки с этими словами, потому что когда видишь контекст употребления слова, тогда правильно понимаешь интерпретацию.

Черняков: И еще у меня вопрос. Веса кластеров, которые Вы назвали, очень различны. Скажем, доминирует «Социальный контроль» - 26%, на втором месте с 15% идут «Социальные проблемы», которые можно было бы точнее назвать «Социальные болезни», судя по тем словам, которые Вы перечислили.

Задорин: Да, да.

Черняков: И есть кластеры, так сказать, относительно немассивные, легкие. С этой точки зрения не думали ли вы, что лидирующие кластеры – это кластеры, фиксирующие преимущественно тот язык, на котором преимущественно либо следует разговаривать на данную тему, либо тот язык, на котором уже безотносительно к теме, склонны разговаривать респонденты исходя из той проблематике, которая им представлена?

Крыштановский: И третий может быть вариант. Исходя из языка, который в последнее время используется в СМИ для освещения этого круга вопросов.

Задорин: Ну, последнее, это как раз мало волнует. Ради бога. Вопрос в том, они для них естественны эти слова или нет? Ведь фактически мы именно это ищем.

Крыштановский: Ничего подобного. На самом деле они естественны в данный момент. В последнюю неделю об этом говорят. А сверхзадача была какая? Найти язык с тем, чтобы сделать новый опрос адекватным. Пройдет месяц, а мне нужен другой язык...

Задорин: Не опрос адекватный. Как кажется, если довести до каких-то общих понятий, то можно предположить, что наверняка это достаточно устойчивая вещь. Потому что одно слово из кластера может быть действительно привнесено (вчера он об этом узнал), но десять других для респондента привычны. Еще раз говорю, что весь подход основан на том, что мы предполагаем, что если он произносит эти слова в ответ на стимульные понятия, то он как бы ожидает их же слышать. Это естественно для него. Если человек встречается и собирается говорить про реформы, а его собеседник, относится к кластеру, условно говоря, «социальные болезни», то ясное дело, что ему не надо говорить про реформы, ему не надо говорить про либерализацию, тоталитаризм и переход к цивилизованному обществу. Ему надо говорить как раз про болезни, про то, что алкоголизм надо выкорчевывать, наркоманию и проституцию и прочие разные вещи. И наоборот, если приходишь к человеку, который сам на слово «реформы» обязательно выдаст про тоталитаризм, цивилизованное общество, западные ценности и так далее, то скорее всего, услышав про эти болезни, у него скорее всего возникнет некий дискомфорт, а этот дискомфорт может выявиться в чем угодно, например в том, что... это неправильный политик, он не про то говорит, что мы иногда и видим. Очень классный случай, как Гайдар когда-то выступал где-то в массовой аудитории. Его спросили: «Верите ли Вы в бога?», а он говорит: «Нет, я агностик». Это классный пример неадекватного диалога для данной аудитории. Здесь как бы задачка...

Ослон: Он сказал слово «нет». Если бы он сказал: «я агностик», то каждый услышал бы свое.

Задорин: Может он так и сказал. Это я уже говорю: «нет».

Климова: Народ обижался на слово «отнюдь», когда он говорил.

Задорин: Наверное в той аудитории, в которой он говорил, может быть «отнюдь» тоже было неадекватно.

Петренко: Еще давайте пять вопросов, потом к обсуждению перейдем. А то...

Задорин: Я еще разок хочу зафиксировать. Что конечно, нас сильно интересуют возможности, так скажем, улучшения прохождения этих шагов. Шаг первый. Попытка адекватного разложения текста на слова. Каким инструментом это можно сделать? Соответственно, на втором шаге, какие слова и как надо категоризировать? Повторяю, мы это сделали ручками, а вообще-то говоря можно было и меньше привносить субъективизма на этом этапе.

Крыштановский: Привнести один большой субъективизм раньше.

Задорин: Вот в этом вся разница между формальным подходом и неформальным. На чем строится качественный подход? Мы не привносим никакого субъективизма в процессе измерения, но зато уж как интерпретировать.

Ослон: Качественный подход – никакого объективизма.

Задорин: На каких-то стадиях этот субъективизм привносится, на каких-то мы считаем, что все делает объективно формальный алгоритм. Второй вопрос – это по поводу алгоритма. Конечно же здесь много вопросов, связанных и с метриками, и собственно говоря, как кластеризовать? Дихотомическая или доминантная матрица? Все-таки частоты, веса какие брать? Пробовали по разному. И естественно, этот вопрос по поводу подсчета мощности распространения этого языка. Можно считать, как мы считали – по удельной, по нормированной частоте, а можно по-другому. Хотелось бы услышать от коллег такую суровую...

Петренко: Игорь, давайте дадим возможность задать вопросы. Магун первый был.

Магун: Меня интересуют результаты. О чем не рассказывают, естественно. Можно ли сказать, что в целом большинство ответов имели ту или иную эмоциональную модальность? То есть большинство из них были отрицательными? Поскольку Вы не рассказали до конца про состав этих ответов.

Задорин: А мы этого вообще не можем рассказать полностью...

Магун: Нет. Чуть-чуть понятно, почему? Поскольку Вы не дали список полностью, то я не могу этого оценить. А вот Вы не можете оценить: больше было отрицательных или положительных высказываний?

Климова: Они «не» выбросили...

Магун: Чего выбросили? Они все равно видят. Через «не» или как-то иначе...

Задорин: Понятно, что есть слова, которые в любом случае несут отрицательную окраску. Если там написано воровство, то выбрасывай частицу «не» или не выбрасывай...

Косолапов: В стране, изничтоженной воровством, негативные...

Задорин: Слов, имеющих негативную окраску, на первый или на второй взгляд больше.

Магун: Маленькая реплика, почему этот вопрос возник. Вот есть стандартные вопросы. Я хуже знаю Фонд, лучше – ВЦИОМ. У них вопрос: реформы нужно продолжать или прекратить (Всероссийский центр изучения общественного мнения. www.wciom.ru - Прим. ред.). Мы знаем, что постепенно стали больше отвечать «прекратить» или «трудно сказать».

Задорин: Нет, там очень интересная динамика.

Магун: Я знаю... То, что одним вопросом там тестируется, можно ли здесь увидеть? Фактически Вы говорите, что больше отрицательного, правильно?

Задорин: Да.

Ослон: Мне кажется, что здесь тонкое место, поскольку на вопрос, что такое для вас реформа, в самом объяснении может проявляться оценка, а может не проявляться.

Магун: Но он, тем не менее, ответил.

Ослон: Есть статистика оценок, есть статистика смысла, которые немножко отличаются..

Задорин: Саша, все-таки конкретно по реформам это так. Там было видно даже из качественного анализа, даже без всякого нашего разложения слов, что в принципе само слово «реформы» для большинства имеет отрицательную окраску. И оно как бы связано с понятиями ухудшения, разрушения и так далее и тому подобное. Это качественно зафиксировано.

Петренко: У Чеснокова вопрос.

Чесноков: Правильно ли я вас понял, что там, где вы, например, переходили от слов, от лексики к категориям, там Вы считаете, что субъективизм не преодолели.

Задорин: Нет, там больше всего субъективизма. Как раз.

Чесноков: Я так и говорю.

Задорин: А, да. Не преодолели.

Чесноков: А вот там, где Вы переходили от этих самых чисел, матриц к категориям, к кластерам, там Вы субъективизм преодолели. (Смех в зале)

Крыштановский: Сказал: двенадцать кластеров. Но это было объективно (смех).

Ослон: Игорь, я думаю, что ты неправильно рассказываешь. Не надо говорить, что ты субъективизм преодолеваешь. Надо говорить: вносишь объективизм. Тебе гораздо проще будет.

Задорин: Вот там, где мы матрицу засунули на вход кластерному анализу, там мы привнесли объективизм.

Петренко: Еще есть вопросы? (пауза) Переходим к обсуждению.

Рогозин: У меня два высказывания. Первое – метод основан на очень сильном допущении. Если мы хотим понять целое, мы можем разбить его на части и понять отдельную часть. Поняв сумму отдельных частей, мы тем самым поймем целое. На этом методе наверное уже столетие ломали голову разные люди и ни к чему не пришли. Игорь работает с понятиями и когда он создал разные кластеры, и хочет их как-то прокомментировать, он все равно возвращается к предложению. Подобный метод нельзя улучшать, он тупиковый. Потому что мы с одной стороны пытаемся формально работать со словами и всегда делаем оговорки, что слово может попасть в разные кластеры, постоянно наступаем как бы на о дни и те же грабли, пытаясь улучшить метод, который, в принципе, все время воспроизводит проблему того, что респондент работает вообще-то не со словарем, а с текстами. Второе высказывание заключается вот в чем. Когда проводился анализ, он делался на записи интервьюером речи респондента. И действительно, здесь возникает другой, очень серьезный вопрос, фиксируем ли мы язык респондента, его речь, или фиксируем восприятие другим человеком речи респондента? Если мы будем останавливаться на втором моменте, он тоже имеет основания для анализа, для отдельного наблюдения, то тогда мы должны строить свою интерпретацию, исходя из того, что мы анализируем не речь того индивида, а его восприятие другим человеком. Что тоже является достаточно интересной проблемой.

Задорин: Агностик... (смех в зале)

Рогозин: С этим связаны вот какие примеры. Я смотрел анкету, в которой интервьюеры делились впечатлениями о своей работе. И вот что они писали. Они, во-первых, говорили, что особенно на первых этапах респонденты просили просто часть текста не писать. И буквально диктовали, что записать, а что не записать. То есть фактически там возникала коммуникация, во-первых, по поводу установления отношений личных, а во-вторых, по поводу заполнения анкеты. Что является опровержением, что это язык самого респондента. Второе то с течением времени, когда панель развивалась, респонденты говорили за жизнь. И здесь мы можем зафиксировать, когда возникала коммуникация по поводу тех или иных понятий, там реформ, она все равно проходила на фоне обыденной жизни респондента. И когда он давал ответы, которые записывались, он кроме этого говорил о своей теще, о больном ребенке и так далее. И в зависимости от этого контекста менялась как раз тональность, менялся тот или иной тип ответа. Потому что мы же не можем быть наивными и полагать, что респондент объективно относится к тем вопросам, которые ему задаются. Понятно, что он их воспринимает, как некий стимул, чтобы потом начать разговор. Поэтому здесь вот какой момент можно затронуть. Если мы пытаемся понять язык респондента, то отсекать значимую часть этого языка не имеет смысла. Наверное, все-таки этот материал направлен не для того, чтобы понимать язык респондента. Интересно также понять, как респонденты вообще воспринимали ситуацию этого опроса. Это очень важный момент, потому что вообще-то, когда человек начинает коммуникацию, он простраивает некую рациональную схему этой коммуникации. Ему нужно понять, зачем он это делает. Конечно, некоторые респонденты радовались деньгам. Достаточно много ответов было связано с тем, что респонденты предполагали, что интервьюер донесет эту информацию до чиновников и как-то изменит эту жизнь. Есть такая наивная... точка зрения, что я могу не что-то сделать сам, а могу что-то посоветовать другому и он что-то сделает. Одна женщина старше сорока лет на очередном интервью просто обиделась тому, что она говорила, что нужно снижать цены на квартплату, а их повысили после интервью. «Да, что же такое? Я же говорила, что надо снижать, а Вы меня не слушали». Это комментарии к тому, что вообще-то , если мы начинаем говорить о методе исследования, нам нужно понимать тот контекст, который этот метод создает. И нужно фиксировать как ту обыденную лексику, которая воспроизводится в этом контексте, так и те целевые ожидания, которые возникают или предшествуют разговору. Именно эти факторы влияют на те или иные роли, занимаемые как респондентом, так и интервьюером. На этом я заканчиваю. А вывод здесь следующий. Он состоит из двух частей: пессимистической и оптимистической. Пессимистическая часть такая, что подобное направление анализа тупиковое. Заниматься рассыпанием слов не имеет смысла, потому что мы все время потом будем возвращаться к контексту. Любой комментарий вынуждает нас идти опять к тексту и смотреть, как это слово так или иначе проявляет себя в тексте. Позитивная часть вывода заключается в следующем. Конечно, отказываться от метода, который создает какие-то переменные, не имеет смысла, потому что здесь не нужно изобретать велосипед (Пауль Лазарсфельд (1901-1976) родившись в Вене (Австрия) стал непревзойденным авторитетом в области социальных исследований в США. Основал Бюро прикладных социальных исследований в Колумбийском университете http://www.columbia.edu/ , которое долгое время оставалось ведущим социологическим центром. - Прим. ред. ). Лазарсфельд говорил, что язык социологии – это язык переменных и больше ничего нет. Все качественные интерпретации – это просто вид литературы. Поэтому заход на создание языка переменных был оправдан. Единственное, мне кажется, что переменные нужно фиксировать не на отдельных словах, а на всем массиве. Мы можем разбивать этот массив на реплики респондентов, можем фиксироваться на вопросах, и каким-то другим способом разбивать текст. Но все-таки это позволит учитывать контекст. И еще нужно к этому добавить, что, конечно, при интерпретациях следует учитывать, записывались ли эти слова интервьюером, и тогда интерпретация будет особого рода, или это была магнитофонная запись. Если это записывалось интервьюером, то нужно очень осторожно оперировать такими словами, как язык респондента или речь...

Косолапов: Ясно, покупать надо диктофон.

Рогозин: Не обязательно.

Климова: Нужно просто посмотреть, провести эксперимент, а по моему такой эксперимент проводился.

Петренко: Батыгин.

Батыгин: Можно я выступлю в роли справочника. Подстрочные примечания, которые должны были быть на первой титульной полосе сообщения: где эта проблема изучалась, как задачи решались? Такого рода проблемы решаются лет тридцать. Они связаны с коннотативной лингвистикой (Коннотативная лингвистика занимается дополнительными, сопутствующими значениями языковых единиц. Предполагается, что слова допускают различные интерпретации, которые определяются эмоционально-прагматическими аспектами речи. Значительная часть исследований в рамках коннотативной лингвистики посвящена анализу тропов и фигур речи. - Прим. ред.), и там существуют сотни публикаций.. Во всяком случае, что здесь хорошо получилось. Большой массив слов, и я думаю, что предложений. Я не видел записей ..., но если есть и предложения, то это подарок судьбы. Впервые такое обследование, именно у нас в России, было проведено Дмитрием Николаевичем Шмелевым (Шмелев Дмитрий Николаевич (1926-1993), специалист в области общего языкознания, лексикологии, синтаксиса и стилистики русского языка - Прим. ред), которое называлось «Русские звуковые узусы». Это был 62 год. Он записывал речь и расписал, тогда еще на карточках слова, и анализировал сочетания этих слов. Аналогичная проблема решалась десятью годами раньше Осгудом, который пытался установить частоты совместной встречаемости слов. То есть объем понятий одного слова, например, «трубы», и сколько раз оно употребляется с другим словом, понятием стали. У него получилось связь сильная. Это направление потом получило наименование ассоциативной лингвистики. И оно развивается. И те словари, которые мы, например, видим в информационно-поисковых системах, например терминология по нашей науке, понятие темы. Вот как это делается. Рассыпаются, например, пристатейные библиографические списки, сваливаются все до кучи из 130 тысяч статей по нашей специальности в год, например. Делается частотный словарь и анализируется совместная встречаемость этих слов, получается кластер. Кластер – это и тема. То же самое, что у вас, Только процедура там сделана прозрачной. Процедура должна быть транспарентной, ясной. Есть несколько статей по политической лексике, по анализу политического дискурса. Эти исследования ведутся школой Патрика Серио. Только что опубликована книга «Язык власти», там есть глава по контент-анализу. Главная ошибка, которую вы, наверное, здесь допустили, это была ошибка категоризации., потому что надо было работать с частотным словарем, то есть с теми словами, которые использует респондент. Дмитрий Михайлович, я хочу здесь с вами не согласится, если позволите. Рассыпание массива на слова тоже дает что-то. Слово это слово. Это ясное что. Конечно, хорошо бы анализировать предложения - сверхфразовое единство. Но это очень трудоемкая работа. А они все время потратили на массив данных. Тут надо было тратить в ресурс, и инвестировать в качество регистрации данных, речевое поведение респондента. Предположим, что у нас есть предложения . Не будем говорить, адекватны они речи респондента или нет, вопрос темный. Будем считать, что они есть и все. Записанные кем-то предложения. Тогда можно было бы кодировать эти предложения уже по десятку переменных: по модальности, по языковому, по лексису, по глагольным формам, по интенсивности глагольных форм, что там еще... Да этих переменных так много, в лингвистике – десятки. А здесь они отсутствуют просто. Я думаю, что, конечно, эта литература прошла мимо исследователей. Если бы массив был закодирован, и потом решались конкретные задачи на основе такой кодировки, учитывая еще и рассыпание массива на слова, тут можно было бы решать великолепные проблемы. А здесь почему-то задача была поставлена философски и результат, по-моему, философский. Но поскольку массив все равно сохранился, это самый главный результат, с этим массивом можно вполне работать.

Ослон: Спасибо Игорю, что массив остался. (смех в зале)

Крыштановский: Вопреки его усилиям, он все-таки есть.

Магун: Некоторые разрушают окружающую среду, а некоторые сохраняют.

Петренко: Вы закончили?

Батыгин: Да, спасибо.

Петренко: Чесноков.

Чесноков: Я скажу так. Я понимаю, о чем говорит Дима. Кажется, что я понимаю, когда он говорит, что это тупиковая проблема. Но думаю, что здесь есть очень четкие... Все зависит от того, какие цели мы ставим. Во-первых, хочу подчеркнуть, что то понятие язык, которое мы используем, именно в нашей социологической среде, оно абсолютно отлично от понятия язык, которое используют лингвисты. Мы говорим о языке, фактически о языке образов, и они более актуальны для имен, в которых люди выражают свои образы для выражения мотивации своего поведения. Поведения реального, которое у них существует. Мы говорим о языке в том смысле, в котором можно говорить о разных языках. Скажем, языке власти и интеллигенции, тюремной среды и людей, которые находятся вне этой среды, урок и фраеров, и так далее. Мы говорим о языке в этом плане, и мне кажется этот план очень интересным. Потому что в этом аспекте действительно социологическое действие становится тем самым коммуникативным действием, которое связывает различные социальные языковые ареалы. И вот здесь эта задача явно... Мне кажется, в том, что Вы говорите, Игорь, есть очень четкая возможность лучше поставить вашу задачу. Если Вы ставите задачу так, как Вы сказали в примере с Гайдаром, или в ситуации, когда человек выходит, и ему нужно вызвать позитивную реакцию, во-первых, не стоит здесь говорить о языке. Надо было тогда достаточно четко представить в тех категориях, которые Вы отслеживали, представить себе, скажем, знак коммуникативной реакции, оценочную составляющую: положительную, негативную, нейтральную. Значит, представить себе степень конструктивности, степень развитости образов, которые были у людей, когда они отвечали на вопрос. Степень тривиальности или простоты этих образов. Конечно все эти оценки, которые таким образом можно дать, это оценки, которые бы шли от вас. Вот в этой связи, я хочу сказать, что я очень резко не согласен с вами по фундаментальному методологическому вопросу. Я не разделяю вашего стремления к объективации. Что значит объективация? Я думаю, что позитивное развитие социологического действия состоит не в том, чтобы привлекать на вооружение процедуры, которые объективируют в том смысле, в котором Вы сейчас употребили это слово, объективируют собственно процесс анализа. Мне кажется, что когда Вы переводили слова в категории, Вы действовали как социолог. А когда Вы переводили респондентов в кластеры, Вы действовали как человек, который лезет в мясорубку, называемую, скажем, кластерный анализ, и все. Там социологией не пахнет вообще. Потому что в каком отношении находятся понятия метрики по частоте, в представлении о том, как возникает семантика в социальной среде? Здесь абсолютно несводимые вещи. В нашей среде, в которой не принято вообще обсуждать математические проблемы, в связи с содержательными проблемами, которые решают социологи, принято относить это на линию методики и техники. В этой среде, конечно, возникают разрывы между реальным смыслом вашего действия и смыслом, который Вы ожидаете. Так вот в ожидаемом смысле я, конечно, с вами резко не согласен. Мне кажется, что магистральное, позитивное развитие социологического действия состоит не в том, чтобы убирать субъективизм, потому что Вы никуда его не уберете, потому что Вы все равно всегда выступаете как эксперт, Вы всегда вносите свой смысл в отчет. Этот отчет Вы даете людям, которые будут читать. Очень важно, чтобы эти смыслы не были закамуфлированы, вот что. Очень важна технология верификации ответственности за этот субъективизм. Избавиться от него нельзя, потому что социология – это нормальное человеческое действие, только отличающееся от многих других действий известными вещами. У меня такое ощущение, что в вашей работе как раз недостает более четкой, более жесткой организации той части работы, которую Вы продемонстрировали при переходе от лексики к категориям. А вот потом, когда Вы уже идете в разговор об отношении между этой матрицей и кластерами, и там вносите интерпретацию. Я задал вопрос. Вы сказали – я понял. Это нехитрая штука, все так делают. Но то, что Вы вносите интерпретацию, называя эти вещи, отсекая что-то, внося интерпретацию...

Задорин: Это и есть социология.

Чесноков: Нет, это не социология. (шум в зале) Это есть эрзац-социология. И вот когда люди говорят о содержательной социологии, они говорят о том, что нужно обращать внимание как раз на тем моменты, в которых социолог выступает в роли активно действующего субъекта, активно действующего человека.

Задорин: Отлично.

Чесноков: И вот этот момент не надо скрывать. Наоборот, его нужно оформлять, так, чтобы можно было ему доверять, чтобы можно было с ним открыто полемизировать. Я недаром спросил у вас про формулу. Вы сказали про склеивание по частотам, этих самых употреблений, по частотным структурам. Я вам приведу очень старый пример, банальный, простите, просто для шутки. В семидесятые годы, когда была очень активная эмиграция еврейская, значит, был такой перифраз. Известная фраза: «жизнь дается человеку один раз, и прожить ее надо так, чтобы не было мучительно больно за бесцельно прожитые годы, чтобы не жег позор за меленькое...» что вся жизнь отдана в борьбе за процветание человечества. Эта длинная фраза произносилась таким образом, что в одном слове буква «к» менялась на букву «м» и все. То есть фраза звучала так: «жизнь человеку дается один раз и прожить ее надо там, чтобы не было мучительно больно за бесцельно прожитые годы, чтобы не жег позор за подленькое меленькое...» и так далее. Если частотно анализировать такую фразу, ну, скажем, как тогда делала лаборатория Колмогорова, когда на энтропию изучала такие тексты. Так вот в этих энтропийных делах эти эффекты совершенно никакого значения не имеют. Они не частотны. Они вот тех самых контекстных соотнесениях, о которых говорил Дима. Они не второстепенны. Эти вещи сущностно важные. Теперь по поводу языка. Конечно, в том смысле, в котором мы могли бы говорить о языке, развивая те понятия, которые мы здесь ввели. А мне кажется, что существует большой дефицит внятных представлений о том, что понимает социолог под языком. Ведь социолог работает с репликами. А существует лексика, существует язык слов. Слова – это не реплики. Так вот репликами в данном случае, конечно, были совокупности предложений, которые Вы анализировали как тексты. Но в социологии, в содержательной социологии, существует замечательная техника. Вот если бы эксплицировали такие вещи, как коммуникативная реакция, как та же степень конструктивизма, развитость области, и так далее. Вы под эти вещи могли бы составить не словник, а составить тезаурус, так как это делает банально контент-анализ. Но составить его таким образом, чтобы тезаурус покрывал ваши интересы в связи с вашей задачей, которую Вы ставите сейчас. Я не обсуждаю эту задачу, не обсуждаю ее этическую сторону. Это совершенно другой вопрос. Но, в данном случае, если поставить эту задачу явно и решать ее, то мне кажется, что здесь есть очень хороший путь для развития. Ну, пожалуй, все.

Петренко: Еще хочет кто сказать? (пауза) Крыштановский.

Крыштановский: Игорь два вопроса ставил. Все как-то на первый вопрос отвечают, я по второму.

Задорин: Одинаково приблизительно отвечают, что дальше можно не продолжать...

Крыштановский: Я понимаю, что второй ответ – как улучшить – не имеет смысла, когда выяснилось в предыдущих выступлениях, что улучшать вообще не надо, что надо закопать быстренько. Тем не менее, как мне представляется, если мы оставим за кадром первый вопрос, что может быть не надо закапывать, что все-таки как улучшить это нечто странное. Во-первых, поскольку я технику реализации этого дела представляю плохо, скорее на собственном домысливании, поскольку это в рассказе было представлено никак. Здесь есть важный момент. Вообще говоря, мы все представляем, те, кто работает с этими вещами, степень неустойчивости алгоритмов многомерной статистики. Они неустойчивы, мы это прекрасно знаем. Даже на первом шаге выделения категорий, даже из пяти тысяч слов, когда выделилось 472 категории, и выделены они были тоже на уровне на уровне сочетаний частоты.

Задорин: Нет, там вообще этого не было.

Чесноков: Ручками это все делалось.

Крыштановский: Ручкой он подкручивал...

(ШУМ В ЗАЛЕ)

Крыштановский: Хорошо, не было никакого кластера. Вопрос идет дальше следующий. Можем ли мы утверждать, что отобрав случайным образом из этого массива половину и повторяя процедуру мы получим то же самое? (пауза) Это вопрос об устойчивости.

Задорин: Точно получим. В пределах устойчивости наших собственных связей. Если мы говорим, что «бедность» и «нищета» - это одной категории слова, то мы получим их еще, сколько угодно раз. А если у нас что-то изменится внутри, то тогда – да.

Крыштановский: Вот совершенно очевидно. Вот когда идут сочетания при кластеризации понятий. Условно говоря, что одно понятие встретилось у одного респондента два раза, другое понятие один. Получилась мера близости. Что-то получилось.

Задорин: Саша, по поводу кластерного анализа я все знаю.

Крыштановский: Нет, я как раз спрашиваю. Метод кластерного анализа существенен. Он заложен не только в методике. Он заложен в методологии. Он неустойчив. Я сильно подозреваю, что есть очень большая опасность за счет того, что один респондент попал в новую выборку, а второй не попал, структура этих взаимосвязей может измениться и подчас существенно. И в этой связи условность полученного результата становится... Причем в этой идее есть и конструктивный вариант. Даже просто взять случайную выборку, сделать три раза выборку по триста человек и сопоставить. Это некоторая такая верификация. Заранее примерно ясно, что будет, то есть какие-то частотные распространенные вещи будут устойчиво воспроизводиться, а какая-то мелочь начнет сыпаться.

Косолапов: Они все равно эту мелочь выбросили.

Крыштановский: Нет, не выбросили, это не факт, что они выбросили. Вот эти всякие мелко наполненные категории. В другой выборке это может быть семь процентов, и это может быть важно. Почему? Потому что это то, что не любит Сережа Чесноков. Вообще, это идея некоторого доверительного оценивания. Она здесь отсутствует и это плохо.

Чесноков: Почему же я не люблю? (смех в зале) Предварительного оценивание. За этим Бернулли стоит.

(ОБЩИЙ СМЕХ)

Климова: Если продолжать, я бы сделала триангуляцию по поводу словаря синонимов. Чтобы три независимых группы людей составили словари-синонимы. Они были бы разными.

Крыштановский: Это в продолжение той же идеи. То есть оценка устойчивости методики. Это вопрос уже не методологии, а методики. Если мы принимаем методологию, то надо полировать методику, чтобы, действительно, все, что не пробуем, получаем приблизительно одно и то же.

Батыгин: Кстати, можно за пару дней обычный ассоциативный тест прокрутить и то же самое получить.

Крыштановский: При этом, если все-таки немного вернуться к тому, какого типа задачи можно решать при такого рода подходе. Так или иначе, по характеру вопросов, которые задаются, мы ставим респондента в некоторую надуманную для него ситуацию. Мы ставим его в позицию разговора с телевизором. Пришел условно Киселев домой. И в тексте Киселева интервьюер формулирует: что Вы думаете по поводу реформ? Человек автоматически наряжается вторым Киселевым и начинает с интервьюером в этой лексике разговаривать. У меня сильное подозрение, что может быть очень интересной задачей соотнесение оперативной лексики ответов со словарным корпусом средств массовой информации. Как это соотносится? В какие социальные группы эти языки, эти понятия, которые идут через средства массовой информации, транслируются легко и активно, а в какие они не идут? И это, в общем, действительно можно делать. Эта задача приобретает совершенно иной оттенок. Мы в некотором смысле уходим от тупиковой постановки, которую, мне кажется, значительно правильно Дима обозначил, здесь есть тупиковость. Он говорит, что надо «мочить в сортире». Если это респонденты энергично возвращают, значит воздействие языка Путина эффективно. Это был хороший образ, который через СМИ действительно сел в головы респондентов. А категория – это сортир или нечто другое, вообще говоря, неважно. Мне кажется, что вот такой заход может дать какую-то прагматику в этой задаче, потому что то, что говорил Дима и повторялось в других выступлениях... Здесь тупик-то есть...

Петренко: Ослон.

Ослон: Я хотел бы немножко пояснить про эту работу. Во-первых, я благодарен Игорю за то, что он дал возможность на эту тему поговорить. Дело в том, что эта работа делается для конкретного заказчика, который этим не интересуется – ему некогда, реально...

Задорин: Классическая социологическая ситуация... (смех в зале)

Ослон: Идея состояла в том, чтобы попытаться понять, как своими словами люди обсуждают, рассказывают, объясняют, говорят в общем, вокруг каких-то базисных понятий, которые существуют в сегодняшнем дискусе: то, о чем чаще всего говорят, к чему апеллируют, как к чему-то ясному. Поначалу это были действительно слова, связанные непосредственно с работой клиента – это язык реформ якобы, язык происходящего в экономике. Последующие понятия: власть, государство, средства массовой информации, чиновники. Сейчас уже не понятно о чем даже идет речь. Не сформулировать одним словом, что это за понятия. Вот есть у вас права или нет. Вы знаете свои права? Если знаете, то вас ущемляют, обижают, делают вас несчастными? Если это происходит, есть куда пойти, обратиться, поговорить для защиты? Непонятно. Видимо на обложке будет написано «Гражданские права». Когда запустили всю эту работу было очень тяжело. Конечно, это очень не типичные ситуации, когда записываются короткие тексты. Сейчас респонденты разговорились. Авторы комментариев Света Климова и Аркадий Черняков не дадут соврать, что удлиняются и удлиняются сами разговоры. Но при этом, естественно, это смесь речи интервьюера и респондента, как бы их совместное творчество. Дальше были всякие соблазны позаниматься с этим материалом с помощью разного рода количественных методик. Я не буду употреблять здесь объективные методы. Но я преодолел этот соблазн. Те, кто работают – Светлана Гавриловна подключилась, вначале Анатолий Аркадьевич – это те люди, которые просто через себя пропускали огромный роман, страшно интересный, с кучей неожиданностей. Значит, мы договорились. Что выписываются перлы, шедевры, а в остальном вытаскивается то, что кажется главным. На самом деле, это некая раскладка существующих в этих высказываниях содержательных позиций и интерпретация вокруг них. Причем там же разговор не только о том, что такое реформа, но и к чему это ведет, из чего это проистекает, кто на это влияет, как на это влияет СМИ, встречается ли это в повседневной жизни, отделяется ли это от повседневной жизни, то есть очень богатый на самом деле спектр. Сопутствующие как бы вопросы вокруг одного понятия. При этом, естественно, каждое слово респондента, которым заданное нами понятие интерпретируется, может быть в качестве объекта такого же исследования. В этом смысле эта цепочка бесконечна. Но по существу эти тексты, которые возникают в результате прочтения – чисто авторские, субъективные, рассказывающие о некоторой реалии тексты. А кроме того, существовал большой массив, который ждал Игоря. И вот Игорь пришел. Дело в том, что я знаю людей, которые работают с Игорем. Они это все читают, поэтому я был спокоен. В Фонде эффективной политики (Фонд эффективной политики (ФЭП) организован в 1995 году, занимается политическим консалтингом, изучением средств массовой информации, организацией и сопровождением интернет проектов. www.fep.ru - Прим. ред. ) есть несколько человек, которые реально чего-то читают. Не знаю до конца или нет. По крайней мере чувствуется иногда по их высказываниям, что они чем-то напитываются. Это самое главное. Самый главный эффект – чтобы каждый напитывался своим, а если он еще сумеет через себя преломить и рассказать кому-то, то слава богу. Это, действительно, чисто качественная работа, без претензий на то, чтобы делать что-то еще. И вот пришел Игорь, инициировал этот разговор. И вот выясняется, что у нас есть богатейший массив, страшно интересный. Так вот я предлагаю поставить вопрос несколько иначе. Есть огромный материал. Если у кого-то появится желание или соображения с этим материалом поработать, то он абсолютно открыт для любых экспериментов, для любых поисков, то, что мы из него выжимаем – это и есть наш результат. Каждый может этим заняться или предложить идеи, как с ним позаниматься. Если будет очень интересно, то мы как-то сорганизуемся так, чтобы какие-то ресурсы на это потратить. Поэтому, Игорь, еще раз спасибо, за то, что ты эту тему поднял. Я понимаю задачу, которая должна вокруг этого массива крутиться несколько иначе, не так прагматически, как это было сформулировано, что надо найти как бы некие способы вхождения в резонанс с какими-то людьми. Тогда бы и вопросы несколько иначе формулировались. А задача такая: понять, как они сами об этом рассказывают. А из этого может быть можно вытащить как входить в резонанс с ними. А для этого анализировать часто употребляемые категории, кластеры, поскольку ровно на этой массовости может кто-то воспользоваться этим материалом. Но как мне кажется, самое интересное, безусловно, там в самых редких высказываниях. Естественно, что анализ, основанный на словах, жутко обедняет, но это не тупиковый путь. Это набор переменных. Дима, ты же сам сказал: набор переменных, как только они есть, их можно анализировать. Тупиковый путь в том смысле, что они очень бедные, что самое интересное осталось за бортом: и смысловые, и оценочные, и ассоциативные переменные, которые никак на словах не проявляются. Но это я просто предлагаю рассматривать, как большое экспериментальное поле. Тем более, что проект продолжается. Эти темы вообще отклонились полностью от того, что могло интересовать заказчика. Пока проект не кончится, он будет все больше и больше отражать то, что интересует нас.

Петренко: Володя хотел что-то сказать. Магун.

Магун: Я хочу отреагировать на выступление Александра Анатольевича, принципиально очень важное, и поблагодарить за приглашение и введение в оборот совершенно уникального материала. Мне о нем рассказывал Саша Крыштановский, с придыханием. Но вот я впервые услышал детали и согласен полностью с твоими придыханием. Теперь еще оказывается, что все может быть открыто. Я думаю, что это замечательный вклад. Но я еще хотел вернуться к Игорю, к более локальным вещам. И потому, что я вообще настроен немного поперек того, что говорили мои коллеги. Один из них прямо по Экклезиасту: «что было, то и будет...» (Экклезиаст - самая пессимистичная книга Ветхого завета, опровергающая все устремления, будь то счастье или новое знание. Магун повторяет следующие строки из Экклезиаста: "Что было, то и будет, и что творилось, то творится, / И нет ничего нового под солнцем. / Бывает, скажут о чем-то: смотри, это новость! / А это уже было в веках, что прошли до нас." (Еккл 1,4-10). - Прим. ред.) В 30- годах, в 17-м веке, в 62 году и так далее. Я согласен. Конечно, это совершенно все справедливо. Просто приятно, что у нас такая компания, хорошо подобранная, где действительно каждый добавляет на век назад к тому, что мы говорим. Действительно, находясь рядом с Геннадием Семеновичем, я расту просто. Вы это знаете.

ОБЩИЙ СМЕХ

Батыгин: Вы тоже, классик, Владимир Самуилович.

Магун: Вы это знаете... но я бы хотел сказать, несмотря на наличие Бернулли... (смех в зале)

Крыштановский: Ныне покойного... (смех в зале)

Магун: Сегодня я немножко был удивлен... такое уникальное событие. Я это увидел, когда получил приглашение, потому что реформы почти что кончились... (шум в зале) ...а между тем уровень анализа на протяжении этого десятилетия был настолько примитивен, что даже трехмерка может быть иногда была, как высшее достижение. Может быть я чего-то не знаю, если я кого-то обижаю, то заранее извиняюсь. Но в основном это все-таки так: одномерка, ну, двумерка, иногда трехмерка. Немножко поздно, но всегда, когда человек умирает, начинается большая наука. А еще Александр Олегович вносит большой вклад в этот скепсис (смех в зале). Он говорит, что мы знаем про неустойчивость многомерных методов. Кто же это знает? Я работаю со студентами или с магистрантами, с аспирантами. И мы там работаем с факторным анализом. Потом они идут на лекцию к Крыштановскому и говорят, что все это никуда не годится. Но мы-то знаем, что они устойчивы.

Крыштановский: Потому что они с тобой поработали и ты им навесил лапшу.

Магун: Ты их используешь левой рукой, а правой говоришь в лекциях, что они неустойчивы. И тем самым питаешь рационализации или защитные механизмы... В результате в ведущих учреждениях люди даже не подходят близко с этими методами к наиболее актуальным вещам... о том, как люди относятся к реформам. И то, что Игорь Вениаминович это все сделал и навлек на себя всю эту агрессию. Геннадий Семенович говорит, что он защитник старого, а я в данном случае, защитник нового, которое нужно как-то по достоинству оценивать и в масштабе того, что же сделано. Действительно в рамках наших реформ, наших респондентов. Не вообще Лазарсфельда, а конкретно (смех в зале), на уровне того, что делается в нашем округе.

Крыштановский: У вас какое-то первомайское выступление... (смех в зале) ...с мавзолея.

Магун: Потому что мы не ценим и это наша общая беда. Мы ничего не видим, и что происходит хорошего, тоже не видим. И начинаются все эти замечательные анализы исторические. Поэтому, мне кажется, что мы не должны проглядеть это новое. Но у меня, конечно, тоже есть свои неудовлетворения... (ОБЩИЙ СМЕХ) Они связаны с тем, мне кажется, что Игорь Вениаминович немного неправильно рассказывает о своей работе. Основное для меня: работает метод или не работает. Вот рассказали бы результаты более подробно, тогда бы не было многих вопросов. Потому что тогда было бы видно, что Вы что-то получили. А Вы очень интересные вещи получили. А Вы все про метрику. А разве можно в этой аудитории такие вещи говорить? (смех в зале) Если я какие-то детали там вытащу, то какие-то вещи осмысленные получаются. И они подтверждают, что получено безо всех хлопот. Например, про не очень позитивное отношение населения к реформам. Это Вы подтвердили. Вот Вы говорили про какой-то практический запрос заказчика. Зачем все это? Чтобы вот люди говорили? Да, нет, совершенно другая реакция практическая. Вот узнает заказчик или он знает, что к реформам люди относятся отрицательно. Что делает заказчик, мы знаем это. Он снимает слово реформа. Насколько я знаю, Вы ближе к этому, из первых рук слышите. Насколько я знаю, что слово реформа меняется всюду на слово модернизация.

Задорин: Чрезвычайно удачная замена (смех)

Магун: Это удачно или нет, но появилась лексика как результат вот на эти простейшие выводы, которые они не успели прочитать, но они же люди понимающие. Мне рассказывали мои друзья-французы, что когда Миттеран... когда социалисты пришли к власти, они провели самые непопулярные меры, которые только можно было провести: сняли индексацию зарплаты... значит, что-то в этом роде. Они говорили, что надо сменить слова, по-тихому, и под завесой... что мы консерваторы, что мы защищаем старое будут делаться ужасные вещи. Гайдару и не снилось. Интересный может быть вывод из этого, как мне кажется. И последнее. Я предпринимал некоторые попытки чуть более сложно анализировать отношение к реформам. И может быть было бы интересно соотнести их. Мы использовали стандартные методы, то есть анкеты. Не было таких замечательных текстов, реплик, а просто анкеты. Вот многомерный анализ... Если бы Крыштановский не мешал, его бы чаще применяли (смех в зале). Я в Томске брал исходные формулировки, но на своем материале. Получились интересные синдромы, кластеры на вашем языке, параметры, типы, как угодно. Мне кажется, что это может быть мостиком для обсуждения более содержательного. Если бы Вы не скрывали свои результаты разговор был бы более содержательным. Заканчиваю тем, чем начал. Спасибо.

Петренко: Сережа Чесноков.

Чесноков: Я сначала скажу одну частушку. Просто так получилось, что меня пригласили судить в «Семеновне». Там было несколько частушек замечательных. Была такая частушка: «Шел я лесом, видел беса, бес реформы проводил, лес с огромным интересом за реформами следил».

(ОБЩИЙ ПРОДОЛЖИТЕЛЬНЫЙ СМЕХ)

Крыштановский: Это покруче кластерного анализа.

Чесноков: Мне кажется, когда вы говорите об этой работе, то не хотите ее рассматривать в более широком контексте. В каком контексте – я сейчас попытаюсь обозначить. Например, в той коммуникативной задаче, которую решал сейчас Игорь. В этой задаче явная несимметрия коммуникативная. Несимметрия в том, что... термины, семантика которых обсуждается, диктуются одним коммуникатором, в данном случае властью. А вот то, что идет со стороны людей... ну, например, человек отвечает по стилю как бы Набокова: «Знаете ли Вы французский язык? – Нет, но у нашего садовника большая тачка». И вот люди говорят, вот реформы, а вот зарплаты нет. Но ведь дело в том, что отсутствие зарплаты – это то. что мучает человека, это те семантические ряды, которые идут снизу. И вторая задача, которая здесь возникает симметрична: взять те ряды, которые идут снизу, и провести опрос властных структур (шум в зале). Я не хочу сказать, что это нужно делать. Но нужно понимать, что коммуникативная проблема возникает просто из-за асимметрии. Кроме того, есть еще вот какой момент. В социологии существует устоявшаяся техника, которая просто входит в анналы социологической практики - техника экспликации понятий. Например, если вы говорите о реформах, вы изучаете действительно ряды прямых ассоциаций, которые возникают у людей на эти вещи, то есть это еще не язык, это ассоциативные ряды, это важный элемент языка. Опираясь на эти ассоциативные ряды, можно было бы сформулировать... Я немного устал... Вспомнил как зовут, забыл зачем пришел... (смех в зале)

Ослон: Я вспомнил маленькую деталь, которую я забыл сказать. К вопросу о том, как это взаимосвязано со словами, которые присутствуют в текстах массовой информации. Это действительно напрашивается. Хотя на самом деле этого пока не происходит, у нас просто проходит работа, связанная с расшифровкой текстов новостных программ основных каналов. Эти тексты есть. Так что, если, действительно, будет продолжаться эта работа, то она очень легко может перейти еще и в плоскость сопоставления того, что говорят люди с тем, что говорится в телевизоре. Но на уровне слов, результат будет бессодержателен. А на уровне других переменных, а именно семантических, так или иначе раскрывающих понятийность, можно и нужно искать взаимосвязь.

Чесноков: Вспомнил (смех). Приходит человек, который мог бы сделать с понятием, скажем, реформа, или понятиями, которые функционируют на верхнем уровне социального управления, семантическую реконструкцию. Действительно, используя потенциал навыков, который есть у любого нормального социолога, провести экспликацию понятий. Ну, пример такой экспликации – когда людей можно спрашивать там: Вы за свободу слова или нет? А можно спрашивать так, как вот Дима приводил пример, в НОРКе (Речь идет о Национальном центре изучения общественного мнения (National Opinion Research Center, University of Chicago, 6030 South Ellis Avenue, Chicago, Illinois 60637 http://www.norc.uchicago.edu ). Пример с операционализацией отношения к свободе слова приводится в книге С. Садмена и Н. Бредберна "Как правильно задавать вопросы" (Sudman S., Bradburn N. M. Asking questions: A practical guide to questionnaire design. San Francisco: Jossey-Bass Publishers, 1982), перевод которой Фондом "Общественное мнение" готовится к печати. - Прим. ред. ) спрашивают, скажите, если гомосексуалист будет вести занятия с вашими детьми, Вы считаете, что его можно оставить в школе преподавателем, а если он напишет книжку, будете ли Вы за то, чтобы ее можно было опубликовать. Там присутствуют гомосексуалист, коммунист, фашист, атеист. Но в принципе, здесь очень понятная структура. Понятия живут в социуме по другому, чем они живут в неких референтных средах, которые считают эти понятия в своей среде закрепленными и данными как некий абсолют. В социальной среде они живут по-разному. Можно было бы сделать наполнитель к этой серии исследований: одно понятие диктуется сверху – смотрится ассоциация снизу; другое понятие идет снизу – смотрится с чем оно ассоциируется сверху. И потом может быть поставить вопрос об экспликации понятий, о тех семантических рядах, которые возникают собственно, когда определяются важнейшие понятия: демократия, тоталитаризм и так далее. С этим связаны очень важные эффекты, которые присутствуют в истории нашей страны. Например, самая демократическая конституция была сталинская. Огромная мощь государства была направлена на то, чтобы оградить первичные понятия от живого человеческого понимания или смысла, чтобы этот смысл проникал на тот уровень, где это понятие функционировало как элемент идеологии. Это была важнейшая задача. В этом смысле то, что сейчас делается, что делает Глеб (Павловский Глеб Олегович (1951 - ) - Президент Фонда эффективной политики. Краткая биография представлена на сайте http://www.russ.ru/journal/dosie/pavlovsk.htm - Прим. ред.) очень на это похоже. Где-то там есть идея использовать дифференциацию между семантическими полями и реальными назывными понятиями как некий управленческий ресурс. Эта, конечно, определенного рода мысль ведет нас действительно назад, по большому счету, но в новых условиях... (смех в зале) Но у социолога есть замечательный инструментарий для того, чтобы эти вещи не в духе разоблачения, или каких-то там вещей решать, а просто в конструктивном плане вносить в социум, вносить в некую культуру соотношений между властью и населением. Такого рода работы они тоже могли бы быть. Это как бы такого рода расширения контекста...

Ослон: Это интересно.. Если в шутку ответить, и сказать, что нынче социолог имеет кластерный анализ, поэтому ситуация резко отличается. Но мне так не кажется, это отдельный разговор. Мне кажется, что там другая ситуация, что там пока что нет идеи что-то вносить, там идея пока что... ломать. А то, что ломать – это сформировано буквально за последние десять лет и то, что, конечно же, имеет очень сильные изъяны. Ломать как бы ту среду, в которой некие слова и словосочетания используются для решения некоторых задач. Типичный пример, то, что вылезло на поверхность – свобода слова. При этом очень интересно, как на обыденном уровне расшифровывается это понятие. То, чем занимается Глеб, это прежде всего ломка контекстов, в которых оно употреблялось элитой. Но это как бы другая тема.

Чесноков: Это другая тема. Достаточно специальная...

Ослон: А то, что касается некоторого захода в этой работе, да, конечно, там была такая идея: посмотрите как люди понимают некоторые вещи и, ну, сами-то вы, конечно, не ошибаетесь, но поймите теперь, как ошибался Гайдар, когда не интересовался и игнорировал полностью то, что другие люди понимают его речи совсем иначе. Понятно, что к Гайдару отношение очень скоро изменилось, поэтому все, что он говорил, стало иметь негативный смысл. Поэтому, я думаю, что сегодня не нужно отказываться от слова реформы, надо просто развести реформы Ельцина и реформы Путина, учитывая отношения к ним. Это кстати еще один пример, что анализ слов как бы очень поверхностный. Реформы Ельцина и реформы Путина они в смысловом плане абсолютно противоположны для подавляющего большинства.

Чесноков: Готовы ли вы по серьезному обсуждать проблематику? Для меня это очень остро. Думаю, что нет.

Петренко: Какую?

Чесноков: Ну, например, проблематику тех же самых семантических рядов, которые делает сейчас Путин... вот взять его выступление по поводу Бабицкого. ...и тем, что возникает на уровне людей. То есть выступление о законности и как работают суды и так далее. У меня именно в этой части возникает вопрос, внутренний такой вопрос. Я прекрасно понимаю, что говорит Глеб, потому что я сам считаю, что, действительно, государства не было у нас. У нас же все государство имитировалось. У нас имитировали формы власти, которые внешне были государственной формой. По сути это было распределение ресурсов, которое задало новый статус черной экономики, которая еще в конце 70-х по оценкам Миши Забельского, который работал у Шахрая, составляла 40%, тогда, в конце 70-х. Когда я говорю, готовы ли вы обсуждать, то я имею в виду вот что. Например, я точно знаю, я могу сказать про себя: я, конечно, имею ангажированное сознание. Я как социолог, глядя на себя, могу сказать: да, я ангажированное сознание. Но в то же самое время у меня есть достаточно возможностей и интереса к тому, чтобы соотноситься с другими людьми.

Ослон: Поговорить с другими ангажированными.

Батыгин: Сережа, может партию создадим с тобой? (шум в зале)

Задорин: Можно я сейчас отстреляюсь, а потом поговорим о чем-то другом...

Чесноков: Ну, вот, например, в связи с семантическим задачами они очень тесно связаны... Готовы ли вы обсуждать серьезно?

Крыштановский: Игорь ответить хочет?

Задорин: У меня другое предложение.

Петренко: Нет...

Задорин: Нет, Елена Серафимовна, извините (смех в зале). Мне бы хотелось так. Я бы о том, что говорит Сергей Валерианович сказал по-другому: не то, что готовы обсуждать, а есть ли желание? Желание есть. Но у меня сейчас другое желание существует. Отстреляться по тем вопросам, которые задавались, и это желание более мучительно. А после этого – желание огромное. Значит, все-таки хотелось бы сказать следующее. Первое. Возможно, я не очень акцентировал внимание на том, что это вторичный анализ данных. В этом смысле мы говорим о том, что мы используем некоторый материал, полученный с другими целями, нежели то, что делаем мы. И в этом смысле, когда Саша говорит: «нет, это не для того, чтобы выстроить коммуникацию, а для того, чтобы понять». Конечно, первоначально было для того, чтобы понять как воспринимают. Но мы для себя, для своего вторичного анализа должны поставить некоторую содержательную цель. Мы можем сопоставлять адекватность метода этой цели – это другой вопрос. Но, как бы предъявлять какие-то другие цели – да ради бога, вот в данном случае у нас была такая цель: попытаться найти слова-ассоциации, устойчивые ассоциативные ряды, которые условно можно пока называть языком, идеологемами, еще чем-то. Адекватного слова пока не подобрано. Может быть действительно просто ассоциативные ряды. Такова была цель. Вот теперь уже по порядку на замечания. Сразу хочу сказать, что все это выступление с нашей стороны как бы большая такая подстава в том смысле, что мы-то отлично знаем, что тут вот по десяти местам подставиться можно. И даже некоторые вещи, которые мы знаем, не были произнесены здесь.

Климова: Они догадались..

Крыштановский: Времени не было.

Задорин: Да. Тем не менее, все-таки задача такая. Есть богатейший массив информации. В некотором смысле это все выступление – это призыв: ставьте цели другие и пробуйте с другими методами с ним работать, потому что мы имеем слова населения, которые произнесены. За пределами обсуждения того, является ли это слово населения или интервьюеров.

Ослон: Интервьюеры тоже население.

Задорин: Теперь возвращаясь к замечаниям. Да, примитивно, да, грубо. Я все время говорю, что это надругательство. Но вот когда говорят, что есть целое, а есть разделение на частности, и из него невозможно понять... Склонен сказать, что мы на самом деле целое изучаем, потому что связи, которые мы пытаемся найти, относятся к целому. И это не только контекст. Это не только контекст, когда мы говорим, что слово выдернули из контекста, оно другого смысла. Вот даже то, что человек употребляет один и тот же набор слов, просто слов – это есть некоторая характеристика, причем характеристика достаточно целого, а не части того, чем является слово... Теперь, конечно, очень важно, между чем мы ищем связь? На каком уровне разделить это целое? Мы предложили разделение на элементарные слова. Для нас это эксперимент. Это не наше профильное направление. Я как бы Геннадию Семеновичу отвечаю. Мы не в контексте, безусловно, всех публикаций и всего того, что сделано по этому направлению. Тем не менее, даже в нашей практике были работы, связанные с кластеризацией суждений, не только как бы элементарных слов, а суждений. И мы пытались все-таки тексты разбить не на отдельные слова, а на некоторые суждения там из трех-четырех слов. Но тогда мы точно должны были бы быть готовыми, что мы возьмем на себя ответственность сведения уже не просто элементарных слов в категорию, а сведение несколько по разному построенных фраз к некоторым образцам этих фраз. И, таким образом, должны были приписать им смыслы. В данном случае, когда мы разбили на отдельные слова, мы их элементарные смыслы используем, самые элементарные, а не контекстуальные. А в случае деления на фразы мы должны были взять и смыслы, привнесенные с контекстом. Мы вот на это не рискнули. Хотя, строго говоря, понимаем, что это наверное очень перспективно и там как раз не ломается эта живая ткань или в меньшей степени ломается. Ведь я недаром заявил, что целью было порождение методологии, которая была бы технологична. Вот в ФОМе работают в таком режиме: две недели и массив, две недели и массив. Строго говоря, мы должны предложить такой инструмент, который бы тоже в этом реальном режиме и работал. Если мы будем реплики анализировать, если мы подойдем к этому со всем богатством от прошлого века, мы выпадем из этого технологического процесса это факт.

Чесноков: Как раз не факт, потому что на уровне реплик ваш тезаурус может оказаться менее богат...

Задорин: Фраз меньше чем слов...

Чесноков: Конечно, конечно.

Задорин: А выделение этих фраз?

Чесноков: Вот выделение это уже... Но это просто технология. Это вопрос решаемый.

Задорин: Далее, если все-таки возвращаться к словам, к этой самой категоризации, к субъективизму и объективизму, то, что Светлана Гавриловна говорит. Мы предполагаем, что если это будет технология, то отнесение к словам, конечно, должно делаться не одним человеком. Это повысит устойчивость категоризации. Пока она так сказать при всем при том субъективная. А я уже на прошлом семинаре говорил, что я склонен к объективизации, и ее приоритетной считаю (шум в зале). Значит, по поводу неустойчивости кластеров. Уже при кластеризации категорий, конечно же надо строить разные метрики на разных подвыборках. Это эвристическая процедура, и строго говоря, мы останавливаемся там, где...

Крыштановский: Где заранее решим...

Задорин: ...где лучше интерпретация. И заканчиваю я как раз интерпретацией. Здесь я чувствую себя наиболее слабым. Мне кажется, что интерпретация – это как раз социология. Потому что на самом деле она порождает новое знание. И в этом смысле этот вычислительный эксперимент порождает новое знание. Если у нас объединились некоторые слова элементарные, и мы увидели в этом явление – это социология. Категоризация... отнесение – это лингвистика.

Батыгин: Это именование, присваивание метки и все.

Задорин: Именование... Все. Спасибо.

Петренко: Я хочу два слова сказать. Сейчас будем пить чай. Большое спасибо, что вы пришли. Большое спасибо Игорю. И одно открытие я все-таки сегодня сделала. Аналитики, которые работают с этим материалом, они... О, это ужас какой-то! Как технологично работают! Света и Толя! Очень технологично, оказывается.

Ослон: Они кайф получают от этого.

Петренко: Тут пять тысяч слов – и о что же делать? А они восемьсот анкет!

Задорин: Это не технологично, потому что...

Петренко: Это шутка, не отвечай, Игорь. Шутка!

Чесноков: Давайте соберемся. И что бы я мог сказать? Ведь можно определить те самые лексические единицы... Моя мысль состоит не в том, чтобы уходить от математических... Ведь гуманитарий, когда он делает точные вещи, он опирается на точную верификацию образа, на точное имя, на воспроизводимость этого имени. В языке есть колоссальные возможности для точного выражения того, что связано с этими вещами, социальными делами. И вот эта точность она меня всегда привлекает. Взять и с учетом ваших содержательных задач посмотреть просто, как работает эта метрика. Взять метрику и посмотреть, как она работает. И вот эти вещи сделать предметом обсуждения. Если для вас такой ход был бы интересен, мне бы например, было бы интересно, потому что это соответствует моим сущностным... жизненным интересам. Давайте повстречаемся, я приду...

Ослон: Я так понимаю предлагается некий подход к обсуждению: что делать с этим материалом?

Задорин: Официально мы закрыли эту тупиковость, но в тихую будем улучшать (смех за столом)

Чесноков: Я не сказал, что задача тупиковая. Я согласен с Димой, я понимаю о чем он говорит.

Задорин: Мы тоже его понимаем. И все эти проблемы...

Ослон: Ты бы взял по частям, а он сказал, ну а мне нужно целое...

Задорин: Светлана Гавриловна и Анатолий Аркадьевич так и делают. Они то работают с целым. Они читают роман, как говорит Саша, а потом пишут реферат. Это исключительно целостная методология: все туда, а потом оттуда...

Чесноков: Давайте вместе соберемся.