Документ опубликован на сайте www.fom.ru http://bd.fom.ru/report/cat/sci_sci/ans_sociology/pis021016 Различаются ли данные ФОМ и ВЦИОМ? К полемике между Е.Киселевым и А.Ослоном 17.09.2002 [отчет] [ Цирель С. ] 7 сентября Евгений Киселев в программе "Итоги" сравнил рейтинги политических партий по опросам ВЦИОМ'а и ФОМ'а, и, ссылаясь на "злые языки", рассказал о подозрении, что ФОМ корректирует свои данные в соответствии с требованиями "Кремля". В ответ на сайте www.fom.ru появилось гневное письмо Александра Ослона, повествующее об неграмотном использовании социологических данных Евгением Киселевым и о его прежних обвинениях социологов в ангажированности и прочих грехах. Оставляя в стороне чересчур эмоциональную отповедь А.Ослона, плохо сочетающуюся с весьма мягкими и предположительными, но действительно некорректными (прежде всего в математическом смысле, но не только в нем) замечаниями Е.Киселева, зададимся вопросом: "А был ли мальчик? Есть ли на самом деле значимые различия данных ВЦИОМ'а и ФОМ'а?" Точный ответ на этот вопрос требует детальных знаний результатов опросов и методик обеих служб. Автор заметки, не сотрудник ни одной из этих служб и вообще не социолог, естественно, таких знаний не имеет. Однако, приближенный ответ, можно получить и не имея подробных знаний, исходя лишь из общедоступной информации, представленной на сайтах www.fom.ru, www.wciom.ru и www.polit.ru (см. таблицы 1 и 2) и элементарной статистики. Таблица 1 Партия Краткое обозначение Янв Мар Апр Май Июн Июл Авг КПРФ КПРФ 32 34 35 30 29 29 34 "Единая Россия" ЕР 30 21 18 27 25 29 26 ЛДПР ЛДПР 10 8 10 8 9 7 9 "Яблоко" Ябл 7 7 7 5 6 10 8 Союз Правых Сил СПС 4 6 10 7 8 6 6 Женщины России ЖР 4 7 5 5 7 6 6 "Россия" под руководством Г.Селезнева Рос 1 2 2 3 2 3 1 РНЕ РНЕ 1 1 2 1 2 2 1 Аграрная партия Агр 3 2 2 5 3 1 1 Cоциал -демократическая партия СД 1 2 1 1 2 1 1 Демократическая партия под руководством М.Прусака ДП 1 1 1 <1 1 <1 1 Партия пенсионеров под рук. Атрошенко Пенс - - - - - <1 1 Народная партия НП <1 <1 1 <1 <1 1 <1 Партия развития предпринимательства под руководством И.Грачева и О.Дмитриевой ПРП - - 1 2 1 <1 <1 "Либеральная Россия" ЛР 1 1 1 <1 <1 0 <1 Другая   2 2 1 2 0 2 1 Против всех   5 5 5 5 5 5 5

Таблица 2

	2.2	2.3	30.3	13.4	27.4	11.5	18.5	25.5	1.6	8.6	15.6	22.6	29.6	6.7	13.7	20.7	27.7	3.8	10.8	17.8	24.8	31.8
Единая Россия	21	20	20	24	28	27	30	27	30	25	29	26	30	29	30	31	32	30	31	28	30	29
КПРФ	24	23	26	25	22	25	22	23	20	22	21	22	20	20	20	22	20	20	18	21	18	20
ЛДПР	7	5	6	5	5	5	4	4	5	4	4	4	4	5	4	5	4	4	6	7	5	5
Яблоко	6	4	4	4	5	4	4	3	3	5	4	4	3	4	3	3	4	4	4	4	4	3
Союз правых сил	4	5	4	5	5	4	3	4	4	5	3	3	4	4	4	3	3	3	3	3	4	3
Аграрная партия	3	3	3	2	4	2	3	3	2	3	3	3	3	2	3	2	2	2	3	2	3	2
за другую	0	1	0	1	1	1	1	0	1	1	0	0	1	1	1	1	0	1	1	1	0	1
против всех	10	11	8	8	6	7	7	7	7	8	9	6	7	12	7	8	6	6	6	7	7	8
не стал(-а) бы участвовать в выборах	10	11	13	12	9	10	10	10	10	10	9	11	9	10	9	10	9	11	9	9	11	9
затрудняюсь ответить	14	18	16	16	16	15	17	18	17	17	18	19	19	13	19	15	19	18	18	19	20	19

Сравнение будем вести двумя способами: во-первых, учитывая изменения предпочтений избирателей в течение года и считая данные, полученные разными службами, связанными выборками, и, во-вторых, рассматривая их как две независимые выборки. Задача заключается в том, чтобы определить, можно ли считать, что средние значения обеих выборок (данных ВЦИОМ'а и ФОМ'а) совпадают. Как обычно, критерием сравнения будет выступать значимость различий, оцененная с помощью "двухвыборочного t-критерия". Так как гипотеза о характере различий известна заранее (сообщена нам киселевскими "злыми языками"), то используется односторонний критерий. Для формирования сопоставимых данных проценты, полученные ФОМ, были отнесены к общей доле определившихся избирателей (намеренные голосовать "против всех" в соответствии с методикой ВЦИОМ'а также считались определившимися). При сравнении независимых выборок сопоставлялись данные всех опросов, указанных в таблицах 1 и 2; при сравнении связанных выборок находилось среднее значение для опросов ФОМ, проведенных в течение месяца (опрос, проведенный ФОМ 2-3 февраля, сравнивался с январским опросом ВЦИОМ).

Примечание для читателей, не изучавших статистику. Значимость различий a % означает, что с вероятностью 100-a % данные различаются. Обычно в статистике принимается, что значимости 2-5 % уже достаточно, чтобы судить о различии (доверительная вероятность существования различий составляет 95-98%). Естественно, значимости 0,1-0,5 % и менее позволяют с большей уверенностью утверждать, что различия достоверны.

Так как списки партий в анкетах ФОМ и ВЦИОМ различаются, то для сопоставимости к данным ВЦИОМ добавлены голоса, отданные за близкие партии. Выбор этих партий и доли переданных голосов - это, разумеется, лишь мои предположения, основанные на сугубо умозрительных посылках и отчасти манипуляциях со сравнениями голосов "против всех" и "за другую партию". Для того, чтобы хоть немного снизить роль подобных произвольных допущений, для большей части партий представлено три варианта - без добавки, с малой добавкой и с большой добавкой. Результаты сравнений для "Единой России", КПРФ, "Яблока", СПС и ЛДПР приведены в таблицах 3-7.

Таблица 3

ФОМ	ВЦИОМ	Тип выборок	Превышение количества голосов по данным ВЦИОМ по отношению к данным ФОМ, %	Значимость различий, %
ЕР	ЕР	Связанные	-30	0,003
		Независимые	-34	0,001
ЕР	ЕР + 3/4 ЖР + НП	Связанные	-16	0,03
		Независимые	-21	0,05
ЕР	ЕР + 3/4 ЖР + НП +1/2 Рос + 1/3 СД + + 3/4 Пенс + 2/3 ДП + 1/2 ПРП	Связанные	-11	0,1
		Независимые	-14	0,7

Таблица 4

ФОМ	ВЦИОМ	Тип выборок	Превышение количества голосов по данным ВЦИОМ по отношению к данным ФОМ, %	Значимость различий, %
КПРФ	КПРФ	Связанные	4	15
		Независимые	7	4
КПРФ	КПРФ + 1/2 Рос + 1/2 СД + 1/3 РНЕ + + 1/4 Пенс	Связанные	11	1
		Независимые	15	0,1
КПРФ + Агр	КПРФ + Агр	Связанные	0	–
		Независимые	3	20
КПРФ + Агр	КПРФ + Агр + 1/2 Рос + 1/2 СД + + 1/3 РНЕ + 1/4 Пенс	Связанные	7	1,5
		Независимые	10	0,5

Таблица 5

ФОМ	ВЦИОМ	Тип выборок	Превышение количества голосов по данным ВЦИОМ по отношению к данным ФОМ, %	Значимость различий, %
Ябл	Ябл	Связанные	25	5
		Независимые	33	1
Ябл	Ябл + 1/2 ЛР	Связанные	31	2,5
		Независимые	39	0,5
Ябл	Ябл + 1/2 ЛР + 1/3 СД	Связанные	38	1
		Независимые	47	0,2

Таблица 6

ФОМ	ВЦИОМ	Тип выборок	Превышение количества голосов по данным ВЦИОМ по отношению к данным ФОМ, %	Значимость различий, %
СПС	СПС	Связанные	24	4
		Независимые	29	4
СПС	СПС+1/3 ЛР	Связанные	28	2
		Независимые	33	2,5
СПС	СПС +1/3 ЛР + 1/3 ПРП + 1/3 ДП	Связанные	32	2
		Независимые	44	1,5

Таблица 7

ФОМ	ВЦИОМ	Тип выборок	Превышение количества голосов по данным ВЦИОМ по отношению к данным ФОМ, %	Значимость различий, %
ЛДПР	ЛДПР	Связанные	24	0,5
		Независимые	30	1
ЛДПР	ЛДПР + 1/3 РНЕ	Связанные	31	0,2
		Независимые	37	0,2

Как легко видеть, для всех партий и их комбинаций, кроме суммы "КПРФ + Аграрная партия", различия достаточно значимы, чтобы можно было с большой долей уверенности говорить о наличии расхождений (кстати говоря, различия будут значимы и при использовании двустороннего критерия). Таким образом, хотя Евгений Киселев и существенно преувеличил расхождения, не принимая во внимание способ представления данных, но все же не зря их помянул, сравнение данных ВЦИОМ'а и ФОМ'а действительно показывает заметные расхождения, составляющие 15-40 % для большей части партий и их комбинаций. Также вполне реальны и вариации результатов от опросов к опросу (наблюдающиеся вариации почти для всех партий и у ВЦИОМ'а и у ФОМ'а в 2-3 раза превосходят теоретические, связанные с малым размером выборки), хотя, не зная в подробностях методики исследований, трудно сказать, что меняется - предпочтения избирателей или "качество случайности" выборок.

Наиболее явно выраженная тенденция состоит в изменениях популярности "Единой России" и КПРФ в течение года. С этими изменениями связано второе наиболее заметное расхождение между данными ВЦИОМ'а и ФОМ'а. Обе социологические службы показывают падение популярности КПРФ и рост популярности "Единой России", однако в данных ФОМ'а эти тенденции проявляются сильнее. ФОМ даже приводит на своем сайте наглядную картинку, как "Единая Россия" обходит КПРФ.

Для сопоставления оценок изменений электоральной привлекательности обеих партий использовались коэффициенты корреляции между количеством потенциальных голосов, отданных за эти партии, и датой опроса; различие коэффициентов корреляции оценивалось с помощью z-преобразования Фишера. Как и в предыдущих случаях применялся односторонний критерий значимости (табл.8).

Таблица 8

ФОМ	ВЦИОМ	Коэф. корреляции		Значимость различий коэф. корреляции, %
		ФОМ	ВЦИОМ
ЕР	ЕР	0,85	0,05	1,5
ЕР	ЕР + 3/4 ЖР + НП	0,85	0,17	2,5
ЕР	ЕР + 3/4 ЖР + НП +1/2 Рос + 1/3 СД + 3/4 Пенс + + 2/3 ДП + 1/2 ПРП	0,85	0,26	3,5
КПРФ	КПРФ	-0,73	-0,26	12
КПРФ + Агр	КПРФ + Агр + 1/2 Рос + 1/2 СД + 1/3 РНЕ + + 1/4 Пенс	-0,77	-0,44	16
КПРФ	КПРФ + 1/2 Рос +1/2 СД + 1/3 РНЕ + 1/4 Пенс	-0,73	-0,19	9
КПРФ + Агр	КПРФ + Агр	-0,77	-0,48	19

Как видно из таблицы, значимость различий оценок скорости падения популярности КПРФ невелика, но рост популярности "Единой России" по данным ФОМ происходит заметно быстрее, чем по данным ВЦИОМ (в абсолютных числах прирост в течение этого года по данным ФОМ составляет 8-10 % против 1-4 %).

Главный вопрос, естественно, заключается в объяснении природы расхождений. Отбрасывая предположение о фальсификации данных какой-либо из социологических служб (суждения "злых языков" Е.Киселева), остается полагать, что дело заключается в методических различиях; скорее всего, источником расхождений результатов служат различия исходных выборок или самой техники опроса респодентов (например, интервьюеры ФОМ вызывают меньше доверия, или больший список партий в анкетах ВЦИОМ провоцирует нетвердых в своих пристрастиях избирателей "Единой России" на измену своей партии). Для более точного ответа на данный вопрос требуется более детальное знание "социологической кухни" обоих институтов.

Дополнения

Уже после того, как были проведены все расчеты и написана заметка, появились результаты сентябрьских опросов ВЦИОМ'а и ФОМ'а, а на сайте www.fom.ru была опубликована интересная статья "Рейтинги партий: расхождения мнимые и реальные", посвященная данной теме. Вот первые итоги анализа этих материалов.

1. Сентябрьские опросы ВЦИОМ'а и ФОМ'а дали весьма близкие результаты, более близкие, чем предыдущие опросы (см. статью "Рейтинги партий: расхождения мнимые и реальные") . Эти данные несколько понижают общую значимость различий, но не сводят суммарные расхождения в течение года к незначимым величинам.



2. Также опрос ФОМ'а по карточке ВЦИОМ'а позволил оценить достоверность моих предположений о "передаче голосов". Расчеты показали, что расхождения между усредненными данными опросов 14-15.09 и 5-6.10 (с весами 1/3 и 2/3) с максимальными добавками (см. выше) и опросом по карточке ВЦИОМ'а 28-29.9 для основных партий в среднем составили около 1% от общего числа определившихся избирателей или приблизительно одно теоретическое стандартное отклонение. На мой взгляд, это неплохой результат, ибо расхождения между сентябрьскими опросами ФОМ'а и ВЦИОМ'а, проведенными по одинаковым карточкам, примерно в 1,5 раза больше, но тем не менее их результаты признаны весьма близкими.



3. Сравнение таблиц 1 и 2 в статье "Рейтинги партий: расхождения мнимые и реальные" показывает, что различия суммарного количества респондентов, не намеренных голосовать ни за одну из перечисленных партий (голосующие "против всех", отказывающиеся от участия в выборах и затрудняющиеся с ответом) в опросах ФОМ'а и ВЦИОМ'а вполне аналогичны различиям между опросами ФОМ'а с разной локализацией данной темы в анкете. Вполне возможно, что место вопроса в анкетах и является основной причиной наиболее явного различия сентябрьских опросов двух социологических служб, проведенных по одинаковым карточкам.



4. Падение рейтингов партий в ситуации, когда избирателям не напоминают фамилии популярных политиков, в полной мере или почти в полной мере объясняет различия желающих голосовать за "Единую Россию" в опросах ВЦИОМ'а и ФОМ'а, но, наоборот, делает еще более явными различия количества голосов, "поданных" за КПРФ, ЛДПР, СПС и "Яблоко". Поэтому надо искать другую или другие причины несовпадения данных основных социологических служб.

		Адрес для писем: hello@fom.ru При использовании материалов сайта fom.ru и базы данных ФОМ (bd.fom.ru) ссылка на источник обязательна © 2003-2019 Фонд "Общественное мнение"