На главный сайт
Первая страница базы данныхНовые поступленияСтруктурный каталог / А-ЯТематический каталог / А-Я
Первая страница базы данныхНовые поступленияСтруктурный каталог / А-ЯТематический каталог / А-Я |
На главный сайт Первая страница базы данныхНовые поступленияСтруктурный каталог / А-ЯТематический каталог / А-Я |
|
15.12.2003, Ослон А.А. Выборы-2003. Предвыборные опросы и прогнозы на фоне исхода выборов. Работа над ошибками. 1. Точный прогноз с двумя большими неточностями В документе "Опросы общественного мнения и прогнозы выборов" (http://bd.fom.ru/report/map/d034727) была описана логика построения прогноза на основе опросов с учетом Экспертных гипотез о том ... ... как поведут себя те, кто намерен голосовать, но не решил, за кого отдать свой голос; ... как будут действовать отказывающиеся от участия в опросе (а таких людей среди населения не менее трети, и часть из них пойдет на выборы); ... как проголосуют те, кто сегодня называет, так сказать, "социально одобряемые" партии, но на избирательном участке будет следовать своему "внутреннему голосу"; ... как подействует на "колеблющихся" избирателей предвыборная агитация, какие изменения в электоральных предпочтениях произойдут в последние дни перед выборами. В Таблице 1 представлены рейтинги партий (в % от всех опрошенных, то есть от всего населения), прогнозы (результаты вычислений с учетом Экспертных гипотез в % от избирателей, пришедших на выборы), данные ЦИК, объявленные 9 декабря по 98% обработанных бюллетеней, и отклонения последнего прогноза от данных ЦИК. Таблица 1
Как видно из Таблицы 1, даже за несколько дней до выборов доля "неопределившихся" была весьма велика. С учетом ответов на вопрос об участии в выборах из последнего опроса было ясно, что накануне дня голосования есть примерно 10% населения, которые определенно собираются идти на выборы, но будут решать за кого голосовать только в последний момент. Тем не менее, прогноз оказался весьма точным, так как распределение "неопределившихся, но идущих на выборы" по партиям было сделано по ответам на вопрос "За какие партии Вы в принципе допускаете голосование?". Существенными в прогнозе оказались две ошибки: доля голосов за КПРФ и предполагаемая явка избирателей на выборы. Причем природа этих ошибок различна, о чем будет сказано ниже. 2. Ошибка прогнозирования явки избирателей По данным ЦИК, явка избирателей составила менее 57% населения. И тот же ЦИК 7 декабря обнародовал информацию о том, что на 14 часов избиратели идут на выборы примерно в соответствии с графиком выборов в Думу 1999 года. Тогда явка составила несколько меньше 62%. Следовательно, в этот раз явка была меньше именно во второй половине дня, когда, как известно, относительно чаще голосуют более молодые, образованные и "высокоресурсные" избиратели. С этим, вероятно, связан более низкий, чем предполагалось, результат "Яблока". Но в целом наш прогноз явки (около 62%) оказался явно завышенным. Мы исходили из того, что в день выборов 7 декабря будут действовать две разнонаправленные тенденции. С одной стороны, это нежелание идти на выборы, лишенные "драматического нерва" политического противостояния – победитель был предопределен: 54% населения были уверены, что это будет "Единая Россия" (против 6%, делавших ставку на КПРФ). С другой стороны, для сторонников "Единой России" (и, следовательно, В. Путина) предполагалось желание поучаствовать в "торжестве", а для сторонников других партий – желание помочь "своим". Как видно, в начале дня выборов проявился второй механизм, а во второй его половине – первый. Прогноз явки 62% возник именно потому, что опросы показывали практически совпадающую с 1999 годом картину: 55% респондентов отвечали, что точно пойдут на выборы, 24% – что скорее пойдут. В расчетах принималось, что первая группа будет участвовать в выборах с вероятностью 0,9, а вторая – с вероятностью 0,4 (в более ранних прогнозах эти вероятности и, соответственно, прогнозная явка были несколько выше, но анализ последнего опроса вынудил их снизить). Это давало явку 59%, но мы к ним добавляли еще 3% населения из числа людей, отказывающихся от интервью в ходе опросов, – так называемых "отказников" (они составляют примерно 30-35% населения). Опыт предыдущих выборов и соответствующих исследований показывает, что около десятой части "отказников" приходят на выборы, но голосуют весьма специфическим образом: они как бы выплескивают свое раздражение, которое, собственно, и обуславливает в какой-то их части отказы от контактов с интервьюерами. Голосование "отказников" обычно фокусируется на партиях и политиках, проявивших в предвыборный период яркость, новизну, энергетику, радикальность, брутальность, оппозиционность и т.д. Это, например, ЛДПР в 1993 году, А. Лебедь – в 1996 году, "Единство (Медведь)" – в 1999 году. Поэтому в этот раз за счет "отказников" в прогнозе была сделана добавка к блоку "Родина", ЛДПР, КПРФ и "против всех", что, безусловно, увеличило точность прогноза распределения голосов по партиям (кроме КПРФ). Однако, видимо, принципиальной ошибкой оказалось приписывание экспертных вероятностей явки без различения электоратов разных партий. Судя по всему эти вероятности следовало предполагать различными для разных партий – например, для "Единой России", сторонники которой пошли на выборы в соответствии с прогнозными предположениями, и для приверженцев партии "Яблоко", явно снизивших свою электоральную активность по сравнению с намерениями, выраженными в опросах. Так, на нынешних выборах явка в Москве, где популярность "Яблока" весьма высока, оказалась на нынешних выборах беспрецедентно низкой, и, стало быть, вклад Москвы в общую "копилку" голосов оказался заметно ниже ожидаемого. 3. Ошибка прогнозирования голосования за КПРФ Из прогнозов по партиям наибольшая ошибка была допущена относительно голосования за КПРФ. Здесь надо пояснить, что Фонд "Общественное мнение" при обработке данных опросов населения всегда производит "перевзвешивание" данных по результатам предыдущих выборов. Это надо пояснить подробнее. В 2000 г. на президентских выборах В. Путин собрал 36,4% голосов от всего взрослого населения (от пришедших на выборы это составило около 53%), а Г. Зюганов – 20,1% населения (29% от участников выборов). Но в опросе, проведенном сразу после выборов – в марте 2000 г., – при ответе на вопрос "За кого Вы проголосовали?" В. Путина назвали 44,7%, а Г. Зюганова – 20,9%. Таким образом, сразу были выявлено, что почти 9% населения говорят явную "неправду". Здесь мы не будем касаться социально-психологических механизмов возникновения такого рода массовых "приписок" в высказываниях людей, но так или иначе этот феномен как-то надо учитывать – прежде всего, при анализе ответов на вопрос "За кого Вы будете голосовать, если президентские выборы состоятся в ближайшее воскресенье?". Логично предположить, что те, кто "приписывает" себя к голосовавшим за В. Путина, будет "приписывать" себя и к намеренным за него голосовать, но в реальности проголосует за действующего президента с меньшей вероятностью. Короче, следуя принципу "единожды солгавшему веры нет", следует понизить уровень доверия тем респондентам, которые говорят о том, что они голосовали за В. Путина. Это делается с помощью специальных коэффициентов (весов), приписываемых всем участникам опроса и выводящих распределение по ответам на вопрос "За кого Вы голосовали?" на истинное (полученное на выборах) распределение. По мере отдаления от выборов 2000 г. эта процедура "перевзвешивания" приобретала все больший смысл, так как доля респондентов, говоривших, что они голосовали за В. Путина, в течение двух лет неуклонно увеличивалась – в апреле 2003 года она достигла 61%, а сейчас держится на уровне 57%. В то же время доля тех, кто говорит о том, что голосовал за Г.Зюганова, заметно меньше доли реально отдавших за него голоса на выборах – с весны 2001 г. она составляет 8-9%. Таким образом, процедура перевзвешивания выводит распределение по вопросу "За кого Вы голосовали?" на истинное распределение, но довольно заметно (на 7-8 п. п.) "занижает" сегодняшний рейтинг В. Путина и "завышает" рейтинг Г. Зюганова. Кроме того, она влияет на рейтинги партий "Единая Россия" и КПРФ (соответственно, "занижая" или "завышая" их примерно на 4-5 п.п., - но не влияет на рейтинги других партий), а также на распределения по любым другим вопросам. Помимо того, что подобного рода процедура логически обоснована и является вполне обычной и распространенной в практике изучения общественного мнения, она может быть верифицирована по фактическим результатам выборов. Итог такой верификации можно подвести, сравнивая прогноз, основанный на опросе, и данные ЦИК (столбцы 6 и 7 Таблицы 1). Очевидно, что понижение доверия к тем, кто говорил о своем желании голосовать за "Единую Россию", посредством процедуры "перевзвешивания" вполне правомерно, так как без ее применения был бы получен нереально высокий прогноз. Но с КПРФ эта процедура в ее сегодняшнем виде явно "перестаралась", чересчур "повысила" ее рейтинг. Этим, главным образом, и объясняется ошибка прогноза голосования за эту партию. Почему так произошло? На поверхности лежит следующее объяснение: часть тех людей, которые голосовали за Г. Зюганова в 2000 г, в дальнейшем не "скрывали" свои симпатии (из-за чего рейтинг лидера коммунистов по сравнению с выборами понизился более чем вдвое), а действительно охладели к нему и, следовательно, не стали бы голосовать сегодня ни за этого лидера, ни за его партию. В таком объяснении есть резон. Но главная причина, как представляется, все-таки в том, что для явных и скрытых сторонников Г. Зюганова на выборах-2003 возникла принципиально новая альтернатива в виде блока "Родина" (его электорат, кстати, по социально-демографическому профилю весьма похож на электорат КПРФ). В этих условиях процедура "перевзвешивания" сработала неожиданным образом. Она по-прежнему "завышала" долю приверженцев Г. Зюганова, как бы выявляя "скрытых" его сторонников и добавляя их к голосующим за КПРФ. Но в сегодняшней реальности часть тех, кто, возможно, и голосовал бы за Г. Зюганова, переориентировались на новую "левую силу" - в лице блока "Родина". Добавка "скрытых" сторонников Г. Зюганова к КПРФ потеряла свой смысл, и рейтинг КПРФ (а, как следствие, прогноз относительно этой партии) оказались заметно завышенными. Второй (но меньший по значимости) фактор ошибки прогноза итогов выборов по КПРФ связан с общим процессом размывания электоральной базы КПРФ, который выразился на выборах-2003 в неожиданно высоком уровне голосования за "Партию пенсионеров". Она составила вторую после блока "Родина" альтернативу КПРФ, но гораздо менее радикальную. Кроме того, после выборов 2000 г. в электоральный возраст вступили около 9% взрослого населения России, и в этой социальной группе популярность КПРФ, разумеется, ниже, чем среди тех, кто выбыл из электорального поля по естественным причинам. Поэтому было неправильным не учитывать этот фактор в процедуре "перевзвешивания". 4. Ошибки относительно "правых" партий в прогнозе, предоставленном в ЦИК Накануне выборов в Думу ЦИК объявил о конкурсе "Политпрогноз-2003" и предложил социологическим организациям до 17 часов 5 декабря сдать в ЦИК свои прогнозы в запечатанном конверте. Что мы и сделали (см. Таблицу 2, а также документ "ФОМ на конкурсе "Политпрогноз-2003" http://bd.fom.ru/report/map/forecastcik). Таблица 2
Прогноз Фонда "Общественное мнение", предоставленный в ЦИК, по некоторым позициям отличается от описанного выше расчета, и эти отличия связаны не с дополнительными вычислениями, а исключительно с интуитивными соображениями о структуре политического поля. Трудно было представить себе накануне выборов, что после волеизъявления избирателей России в нем не останется политических партий либеральной и демократической ориентации. Поэтому в самом "наипоследнем" прогнозе в строчки "СПС" и "Яблоко" волевым усилием были вписаны цифры "5" и "5". С точки зрения арифметики подобное волюнтаристское решение практически ничего не изменило: инструмент социологического опроса и, соответственно, прогноза слишком груб для выявления малых вариаций (речь идет о десятых долях процентного пункта). К этому инструменту надо относиться как школьной линейке с не очень ясными делениями, от которой заведомо нельзя требовать точности микрометра. Но 5-типроцентный порог – это слишком важная психологическая и даже, можно сказать, магическая граница, выше которой существует легитимная политическая жизнь партий, а ниже – политическое небытие. Поэтому предъявить то, что предсказали не слишком точные опросы и довольно приблизительные расчеты, а именно, отсутствие в Думе четвертого созыва партий СПС и "Яблоко" – означало взять на себя смелость заявить о предстоящей существенной смене политической конфигурации политического поля. И здесь дело не цифрах, а скорее в ощущениях, подсказывающих или отвергающих мысль об исчерпанности либеральной/демократической магистрали 90-х годов, в свое время наполненной энергетикой обновления и зашедшей ныне в тупик. Ощущения – штука сугубо субъективная, и они отнюдь не были столь настоятельными, чтобы подтолкнуть к такому решительному шагу, как вычеркивание из дня сегодняшнего остатки дня вчерашнего. Тем не менее, произошло то, что произошло: "Яблоко" и СПС не преодолели 5-типроцентный барьер, что приобрело символический смысл и обозначило со всей очевидностью факт их ухода с главной политической сцены, где они пребывали столько лет. С точки зрения статистики электоральная неудача "Яблока" имеет вроде бы случайный характер: из-за пониженной явки сторонников этой партии не хватило совсем немного до заветной черты. Но этого объяснения недостаточно. В 1999 году рейтинг "Яблока" накануне выборов составлял 5% от населения, реально проголосовали за эту партию 3,6% населения, то есть коэффициент явки составил 0,72. В 2003 году предвыборный рейтинг "Яблока" снизился до 3,3%, а на выборы пришли и проголосовали за "Яблоко" 2,4% населения, то есть коэффициент явки составил те же 0,73. Значит, дело не столько в недостатке явившихся на выборы избирателей, сколько в дефиците собственно потенциальных избирателей из-за сужения электоральной базы "Яблока", происшедшей в последние три недели перед выборами. До этого средний рейтинг "Яблока" был равен примерно 4%, в середине ноября он упал до 2,5%, затем немного поднялся и достиг перед самыми выборами 3,3%, но этого оказалось недостаточно для попадания в Думу. Еще в большей степени процесс размывания электората накануне выборов коснулся СПС. В первой половине ноября рейтинг СПС держался на уровне 4,3%, но в последние две недели он снизился до 3,5%, а непосредственно перед выборами составил 2,6%. Несмотря на более высокий по сравнению с "Яблоком" коэффициент явки (0,87), при таком количестве сторонников СПС имел немного шансов попасть в Думу. Для полноты картины следует отметить, что в последние две недели перед выборами произошел резкий скачок рейтинга "Единой России". Практически в течение всего года он держался в среднем на уровне 20% от населения. В опросе 22-23 ноября он поднялся до 25%, далее 29-30 ноября достиг 28%, а непосредственно перед выборами 3-4 декабря получил значения 29%. Таким образом, за три недели до выборов произошли значительные подвижки в электоральных предпочтениях, обусловленные тем, что часть избирателей стала серьезно задумались о том, что же предстоит делать на выборах. В этот период окончательного "самоопределения" (а он всегда наступает именно перед выборами) особое значение имеет то, что предлагают масс-медиа (прежде всего, телевизор) "задумавшимся" избирателям. И, похоже, увиденное сыграло не в пользу "правых" партий. С большим основанием можно предположить, что между публичными фигурами, представлявшими эти партии, и потенциальными избирателями этих партий возникла своего рода "отталкивающая сила", партии не попали в "резонанс" с актуальными для их электоратов социальными темами и проблемами. Действительно, что публично обсуждали в публичном пространстве лидеры СПС? Военная реформа, реформа ЖКХ, борьба с бедностью, снижение тарифов, развитие электроэнергетики, либеральная империя, угроза национал-социализма и т.д. Все эти темы при всей их важности имеют весьма низкий приоритет для специфического электората СПС, настроенного (в отличие от всего остального населения) на самореализацию, на успешные жизненные проекты, движимого достижительными мотивами и отличающегося явно выраженным индивидуализмом и прагматизмом. Более того, именно в ноябре возникла новая и, возможно, самая актуальная для электората СПС тема, связанная с арестом М. Ходорковского и внушившая именно этим (и, фактически, только этим) людям сомнения экзистенциального характера относительно их "завтрашнего дня". У них возникли вопросы, причем не по поводу судьбы ЮКОСа, а поводу собственной судьбы, по поводу сохранения рыночных условий их существования и деятельности, по поводу еще вчера более или менее ясной жизненной перспективы. Лидеры СПС не ответили на этот социальный запрос. Возможно, они и не могли на него ответить, так как пока что сами не имеют внятных интерпретаций этих событий. Но они даже не показали, что понимают и разделяют беспокойство своего электората, они сделали вид, что темы не существует, они просто ушли от нее. А электорат в ответ ушел от них. Это проявилось в заметном снижении рейтингов СПС именно во второй половине ноября и в начале декабря. Так как СПС вплоть до последних дней излучал уверенность в своем будущем (не был даже снят с эфира знаменитый оптимистический ролик с лидерами СПС в самолете), то у некоторых его сторонников, испытавших по отношению к нему приступ разочарования, не было беспокойства за его судьбу. Лишь накануне выборов прозвучали слова о том, что СПС может не пройти в Думу, что немногочисленные "новые" люди, сформированные "русским капитализмом", останутся без политического представительства. Но было уже поздно. В каком-то смысле аналогичная история приключилась и с "Яблоком": эта партия накануне выборов оказалась в явном диссонансе со своими избирателями, о которых можно сказать, что это люди скорее принципов, чем прагматики. Для них важны права и свободы, но, в первую очередь, не в качестве инструмента самореализации и потенциального успеха (как для электората СПС), а как доминанты политического и социального устройства. Так как принципы никогда в полной мере не выполняются, то такие люди обычно настроены критически и даже оппозиционно по отношению к тем, от кого зависит реализация принципов, и к тем, кто их нарушает (чиновники, правительство, президент, власть как таковая, а также олигархи, несвободные СМИ, закулисные политтехнологи и т.д.). Поэтому, когда лидер "Яблока" в последнюю предвыборную неделю вывел на первый план свои конструктивные контакты с властью, заговорил о "задании", полученном им в ходе визита к президенту на разработку законов о ядерных отходах, предложил ввести цензуру на телевидении, запрещающей сцены насилия, его принципиальный избиратель явно почувствовал недоумение. В то же время, как и лидеры СПС, лидеры "Яблока" обходили тему ЮКОСа, в рамках которой, конечно же, у "яблочников" как у людей принципов возникло много недоуменных вопросов, хотя и отличных от вопросов, возникших у прагматичного электората СПС. Вопросы "яблочников" тоже были связаны с будущей перспективой, но не с экономическими (либерально-рыночными), а с политическими (демократическими) ее аспектами. Такого рода проблематика была в фокусе их внимания еще и потому, что ЮКОС был традиционным спонсором и "другом" партии "Яблоко". Но внятных объяснений происходящего лидеры "Яблока" своему электорату не дали. Так по-разному, но однонаправленно (в сторону уменьшения) повлияли на немногочисленные, но специфичные электораты СПС и "Яблока" недоуменные вопросы, возникшие как раз в последний месяц перед выборами и оставшиеся без ответов. Как показывают опросы, вне этих электоратов подобного рода вопросы практически не возникали или имели в значительно мере диффузный характер. 5. Exit poll в день выборов и данные ЦИК: небольшая разница В день выборов в Думу 7 декабря 2003 г. Фонд "Общественное мнение" провел опрос избирателей, выходящих из избирательных участков после голосования (exit poll), с целью оперативного выяснения соотношения голосов, отданных за политические партии. Опрос проводился по выборке, репрезентирующей население России в возрасте 18 лет и старше. Выборка включала 1200 избирательных участков в 674 населенных пунктах 75 субъектов РФ. На каждом избирательном участке опрашивались по 100 человек. Общий размер выборки составил 120 тысяч человек. На городских избирательных участках опрос проходил с 8 часов до 19 часов 30 минут местного времени и каждый час опрашивались в среднем по 9 избирателей. На сельских избирательных участках опрос проводился с 8 до 17 часов: первой половине дня каждый час опрашивались в среднем по 14 избирателей, во второй половине дня – в среднем по 10 избирателей. Каждому избирателю задавался единственный вопрос о том, за какую партию он только что проголосовал. Результаты опроса по каждому избирательному участку передавались в Москву два раза в день: в 14 и в 20 часов по местному времени. Из-за разницы в часовых поясах данные из регионов поступали в Москву каждый час. Прием данных в Москве начался в 9 часов и закончился в 20 часов по московскому времени. В Таблице 3 представлено сравнение данных, объявленных ЦИК 9 декабря (после обработки 98% бюллетеней), с результатами опроса exit poll. Таблица 3
Кроме статистической погрешности, на точность результатов exit poll повлияло, вероятно, то, что территориальная выборка опроса строилась, исходя из критерия репрезентации населения в целом. Это означает, что неявно делалось предположение о примерно одинаковой явке во всех регионах. Однако, как показали выборы, явка избирателей сильно различалась на разных территориях. Более того, она оказалась заметно ниже именно там, где рейтинги "правых" партий традиционно выше общероссийских: на Северо-Западе (особенно в Санкт-Петербурге), в Центре (особенно в Москве), на Дальнем Востоке. Следовательно, вклад данных территорий в общую сумму голосов оказался несколько ниже удельного веса этих территорий в общей численности населения. А выборка строилась, и данные опроса обрабатывались пропорционально численности населения. Отсюда – некоторое завышение данных опроса для партий СПС и "Яблоко". Еще один возможный фактор погрешности опроса – отказы респондентов от контакта с интервьюером: из каждых четырех человек в среднем отвечали на вопрос о голосовании только трое. Вполне вероятно, что "отказники" голосовали несколько иначе, нежели те избиратели, которые шли на контакт с интервьюером. Если принять такую гипотезу, то для тех партий, чьи сторонники по тем или иным причинам охотнее говорили, за кого они голосовали, результаты опроса должны давать некоторое завышение по сравнению с реальным голосованием. Из Таблицы 3 видно, что несколько лучше шли на контакт избиратели, голосовавшие за партии "Яблоко" и СПС (скорее более интеллигентные"), а также за КПРФ (скорее более "решительные"). А среди "отказников" несколько чаще встречались избиратели, голосовавшие за партии "Единение", "Возрождения – жизни" и "Аграрную" (скорее более "настороженные"). Относительно большой оказалась разница между данными опроса и ЦИК по партии "Единение". Можно предположить, что это связано с тем, что эта партия оказалась первой в бюллетене, а по названию она похожа на название партии "Единая Россия". Поэтому, вероятно, некоторые избиратели, поставив крестик в первом квадратике бюллетеня, полагали, что голосовали за "Единую Россию" и сообщали об этом интервьюеру. Следует заметить, что суммы голосов, поданных за партии по данным ЦИК и по опросу, совпадают. Тогда как по позиции "против всех" данные опроса и ЦИК отличаются. Это, вероятно, связано с тем, что некоторые из говоривших на выходе из избирательного участка о своем голосовании "против всех" не только ставили крестик в соответствующей строке, но делали в силу своего "протестного" настроения еще что-то (например, что-то приписывали). А это приводит к признанию бюллетеня испорченным. Поэтому, скорее всего, полученная в exit poll оценка голосования "против всех" включает как собственно такое голосование, так и испорченные бюллетени, а ЦИК, конечно, разделяет две эти ситуации. В Таблице 4 приведены результаты опроса по федеральным округам в сравнении с данными, обнародованными ЦИК. Из нее видно, что в среднем совпадение весьма высокое за исключением нескольких случаев, требующих, очевидно, отдельного анализа (например, разница опроса и данных ЦИК по Южному округу для партии "Единая Россия"). Кроме того, Таблица 4 показывает, как происходило голосование до и после 14 часов по местному времени. В первой половине дня 7 декабря на избирательные участки, как обычно, активнее пошли избиратели более старшего возраста, среди которых чаще встречаются носители "левых" ориентаций (КПРФ, Аграрная партия, Партия пенсионеров). Интересно, что в эту группу "утренних" партий попала и "Единая Россия". Во второй половине дня структура электорального потока изменилась: на участки относительно чаще пошли более молодые избиратели, среди которых больше встречаются поклонники радикальных взглядов (ЛДПР, "Родина", против всех) и носители "правых" ориентаций ("Яблоко", СПС). Таблица 4
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
||||||
