10 правил экспресс-оценки качества результатов социологического или маркетингового исследования

10 правил экспресс-оценки качества результатов социологического или маркетингового исследования

Автор: Залесский Петр Карлович, кандидат социологических наук, старший консультант ГфК-Русь, доцент департамента социологии Финансового Университета, член ESOMAR, член Гильдии маркетологов.

Со школьных лет мы знаем шесть самых частых вопросов юных почемучек и не растерявших здорового любопытства взрослых. Эти вопросы помогают всем ориентироваться в мире событий и явлений:

1. Кто?
2. Что?
3. Где?
4. Как?
5. Когда?
6. Почему?

Сейчас, в информационном потоке, когда новые технологии проникают во все стороны нашей повседневности, провести опрос в интернете стало проще простого. От обилия цифр и ссылок на опросы по любому поводу иной раз некуда скрыться. Как разобраться, где за публикацией стоит серьезная работа, основанная на строгих научных принципах, а где – всего лишь имитация, наспех скроенная реплика с известного бренда?

Итак, 10 правил для того, чтобы разобраться, стоит ли доверять опубликованным результатам некоего исследования. При этом не стоит забывать, что, во-первых, социология – самая точная из неточных наук. А во-вторых, не всякое исследование — опрос, и не всякий опрос является исследованием.

Правило 1. Кто? Нужно проверить источник данных. Насколько серьезная и авторитетная в профессиональной среде организация/компания/автор предоставили данные для публикации. Ведущие российские исследовательские компании и институты часто критикуют за некую политическую ангажированность. Но тем не менее, они реализуют в своей работе годами отработанные и надежные методики и процедуры опросов. Это также касается и региональных опросов.

Правило 2. Что? Выяснить, был ли это массовый опрос или предоставлены результаты фокус-групповых дискуссий/глубинных интервью. Хотя все больше разделение на количественные методы и качественные постепенно стирается, т.к. чаще всего они идут в связке и дополняют друг друга, необходимо разобраться с основной методикой. Обычно количественное исследование отвечает на вопросы «сколько? и где?», а результаты представляются в виде процентных распределений. Качественное исследование, прежде всего, ориентировано на получение ответов на вопрос „почему?“, если только это не зондаж перед большим и трудоёмким массовым опросом, чтобы выявить гипотезы для постановки исследовательских задач. Попытки проецировать результаты бесед со специально подобранными респондентами на фокус-группах на широкие группы населения или потребителей, да еще в виде процентных распределений, чаще всего носят спекулятивный характер.

Правило 3. Где? Это правило подразумевает выяснение географии проведенного исследования. Страна у нас большая и очень разная не только по часовым поясам, климату, но и по социально-экономическим, инфраструктурным, национальным и социо-культурным особенностям. Когда опрос проведен в нескольких крупных городах, то совершенно не факт, что похожие результаты будут в остальной и гораздо большей части нашей страны. Даже в Москве и в других городах-миллионниках, результаты сильно варьируются от района к району. И это особенно заметно с распространением т.н. элитного жилья, деловых кварталов, выделением преимущественно промышленных и спальных районов. Опрос по одинаковой анкете жителей на Патриках, в Крылатском, в Выхино или в Печатниках будет давать совершенно разные результаты. И главное здесь выяснить, были ли соблюдены соответствующие пропорции в выборке. Казалось бы, интернет всех объединяет, но его проникновение в различных регионах, в разных социальных группах, среди людей даже одного возраста, частота и объемы пользования интернетом очень разные. А поэтому следующее правило для квалификации опросов. Опросы в магазине, у проходной завода, возле бизнес-центра и на овощном рынке также отличаются по составу отвечающих, а значит, и проецировать такие результаты следует на специфические аудитории, но никак не на всех россиян.

Правило 4. Как? Онлайн или офлайн? Онлайн-опросы могут проводиться на совершенно различных основах для выборки респондентов: на корпоративных или новостных сайтах, в соцсетях, в мессенджерах, на специально сформированных панелях, с предварительными рассылками приглашений и стихийно, среди тех, кто заинтересовался темой и «кто мимо проходил». Нюансов очень много, и они, зачастую, дают противоречивые результаты. Для того, чтобы корректно оценить достоверность и надежность предлагаемых данных, требуется выяснить все детали организации опроса. Иначе возникает риск распространить „бурю в стакане воды“ на весь безбрежный океан оценок и мнений. Офлайн может быть представлен не только телефонными, уличными опросами и личными интервью. Анкетирование в аудиториях, анкеты в газетах или журналах, кнопочки с оценками в МФЦ и на заправках и т.д. и т.п. Чему верить, какому из методов получения первичной информации следует доверять? Этому должны будущих специалистов в социальных науках учить в университетах так же, как будущих врачей учат диагностике совершенно разных болезней и методам их лечения. А ошибочное самолечение обычно создает риск серьезных осложнений. Проблема здесь в том, что для ряда профессиональных групп интернет настолько привычная повседневная, даже ежечасная среда, что любые результаты, тем более близкие к мнению узкого круга общения самих инициаторов опроса, не вызывают отторжения или недоверия.

Правило 5. Когда? Понятно, что какие-то архивные данные тоже могут быть вполне актуальными. Многое исследователи отмечают цикличность ряда процессов и явлений в обществе, в экономике, в политике, в культуре и в моде. Некоторые из исследователей даже удостаиваются Нобелевских премий за свои наблюдения и их рациональную интерпретацию. Что касается опросной индустрии, то и здесь необходимо учитывать не только сезонность, не только время суток и дни недели, но и событийный контекст. Яркие и находящиеся на слуху события, юбилеи, даты и катаклизмы отражаются в динамике общественных настроений. Но и законы формальной логики никто не отменял для определения причин, повода и следствия. А как известно, «после» далеко не всегда означает „из-за“. Свою профессиональную деятельность как социолог-исследователь я начинал в начале 90-х, когда были распространены уличные опросы. Период острого политического противостояния М.Горбачева и Б.Ельцина. Утром версталась анкета, в обед собирались и инструктировались интервьюеры, к ужину собирался массив анкет, подсчитывались результаты, а в вечернем выпуске новостей озвучивались данные о поддержке оппонентов. Иногда поле занимало пару дней. Совершенно очевидно, и мы это отчетливо наблюдали, что потоки людей на московских улицах утром, в обеденное время и вечером были совершенно разные и по возрастному, и по социальному составу. Сейчас место уличных экспресс-интервью заняли онлайн-опросы. Но более детальный анализ территориального и по времени суток распределения респондентов в онлайн-опросе, особенно на небольших выборках, часто объясняет содержательные смещения в результатах.

Правило 6. Почему? Или, точнее, по какому поводу был проведен опрос или иное исследование. Кто заказчик? Нет ли здесь очевидных политических или бизнес-интересов? Насколько корректно, независимо от частного интереса проведена работа? Вопрос достаточно тонкий, и, к сожалению, в области изучения общественного мнения зачастую становится предметом спекуляций или натяжек, в зависимости от личной или редакционной позиции интерпретатора. Но объективный и научный подход, требует, как минимум, упоминания в обзорах этих разных «кочек зрения». В сочетании со смещениями, перечисленными в рассматриваемых правилах, очевидный интерес заказчика не оставляет шансов для утверждений об объективности полученных результатов опроса. 

Перечисленные шесть правил достаточно универсальные. Они применимы практически к любой сфере нашей жизни. Следующие четыре я отношу к профессиональной исследовательской деятельности.

Правило 7. Формулировка вопроса. Вообще-то, чтобы детально разобраться как правильно задавать вопросы, необходим отдельный полноценный курс. Нет ли откровенных ляпов или манипуляций в формулировке вопроса? Это вопрос на выявление факта, на осведомлённость или об отношении к чему-либо? Уравновешены ли в самой формулировке элементы отрицания или одобрения? Насколько сложна для среднестатистического обывателя формулировка вопроса? Многоэтажными формулировками, трудно воспринимаемыми на слух, изобилующими специфическими терминами грешат многие переводные с иностранных языков анкеты, особенно в области финансового поведения. В любом случае, при публикации результатов необходимо давать точную формулировку вопроса. Это позволяет избежать залихватских толкований полученных результатов.

Часто в единой анкете ряд вопросов могут задаваться не всем, а только определенным категориям респондентов через вопрос-фильтр. Это необходимо замечать и выяснять. Мне известен давнишний случай, когда по оплошности вопрос об использовании женских гигиенических прокладок был задан и мужчинам. По результатам, весьма заметный процент респондентов-мужчин ответили утвердительно. При дальнейшем разборе парадоксальной ситуации выяснилось, что кроме откровенных юмористов, среди них оказались рыбаки, которые использовали прокладки как стельки в свои резиновые сапоги, чтобы ноги меньше промокали. Это был забавный казус без печальных последствий, но бывают более тяжелые случаи, когда ответы узкой специфической группы проецировались на широкую аудиторию и это приводило к провалам не только в стартапах, но и в бизнесе с многолетней историей.

Правило 8. Тип вопроса – открытый или закрытый, с множественным выбором вариантов или единичным.

Известно достаточно бурное обсуждение истории с т.н. манипуляцией рейтингами известных политиков, когда в публикациях невнятно объяснили смену типа вопроса с «открытого», т.е. рассчитанного на спонтанный ответ без какого-либо выбора из предложенных вариантов/фамилий, на т.н. „закрытый“ вопрос со списком вариантов ответа. Давно известно, что разные типы вопросов дают разные результаты даже при одинаковой формулировке: открытые – меньший процент упоминаний, закрытые – больший. Но ведь они измеряют несколько разные уровни осведомленности. В первом случае, в открытых вопросах есть возможность замерить глубину закрепления в памяти респондента того или иного объекта. В маркетинговых исследованиях чем выше уровень спонтанного знания, ты больше оснований говорить о сформированном бренде, об устойчивом образе.

Множественный выбор из вариантов или возможность дать несколько ответов на один вопрос приводит к тому, что сумма ответов всегда выше 100%. Для людей, далеких от методических изысков социологов, это кажется ошибкой или даже подтасовкой. Но в действительности, множественный ответ часто дает возможность понять более широкий и противоречивый спектр общественных настроений. Единичный выбор заставляет респондента серьезно задуматься над своими предпочтениями, определиться с приоритетами.

Правило 9. Размер выборки. Я не случайно вынес это правило в конец списка. В обыденной жизни люди рассуждают так: чем больше, тем лучше. Однако размер не всегда имеет значение. Парадокс заключается в том, что даже заметно меньшее количество опрошенных, но с соблюдением строгих процедур, дает более достоверные и надежные результаты, чем тысячи непонятно как, где и каким образом заполненных анкет. Понятно, что чем сложнее структура изучаемой совокупности людей, тем больше должен быть размер выборки, тем более тщательно должны соблюдаться процедуры отбора респондентов, где каждая специфическая группа (страта) должна быть представлена в определенной пропорции и иметь ненулевую вероятность попасть в выборку. Часто ошибочно говорят о равной вероятности, но это не так. Если же реализуется принцип «каждой твари по паре», то для получения в итоге объективных результатов должна применяться процедура математического взвешивания. В любом случае, профессиональные и ответственные исследователи должны описывать этот факт в методической части отчета. Для общероссийских опросов сложилась достаточная по размеру выборка в 1600-2100 респондентов. Такой размер связан с необходимостью представить для анализа группы как по федеральным округам, так и по типам населенных пунктов. Отдельные города в этой выборке, за исключением Москвы, детально проанализировать не представляется возможным, но каждый из них, даже небольшим количеством анкет, вносит свой пропорциональный вклад в общую картину страны или округа.

Правило 10. Статпогрешность (ошибка выборки). С размером выборки, естественно, связывают оценку статистической погрешности. Строгие академические ученые всегда указывают на то, что в реальности публикуемые расчеты ошибки выборки относятся к простой случайной бесповторной выборке, которую на практике добиться зачастую невозможно, поскольку это очень долго и дорого. Многое также зависит от исходной базы (основы выборки) для случайного отбора, с которой всегда возникают те или иные проблемы насчет полноты и актуальности. Тем не менее, если исследователи по максимуму выполняют процедуры отбора респондентов, приближающие их к случайной выборке, то можно воспользоваться либо соответствующей формулой, либо примерным мнемоническим правилом: 1000 анкет дают ошибку выборки в ±3%; 500 анкет дают ±4,5%; 300 анкет (±6%) и 100 анкет (±10%). Поэтому важно при описании динамики каких-либо показателей или рейтингов учитывать данную погрешность измерения и не впадать в эйфорию или панику, если изменение показателя укладывается с статистическую погрешность.

И в завершение, забавная картинка на тему правил корректной интерпретации результатов опросов, которую я много лет использую на занятиях со студентами.

С пожеланиями успехов,

Петр Залесский,

кандидат социологических наук,

член Гильдии маркетологов