Как избежать ошибок?
Как показывает практика, достичь абсолютной точности измерений при проведении исследований невозможно. Слишком много факторов субъективных и объективных оказывают влияние на результаты. Как пример можно привести данные мониторинга телепрограмм двух весьма опытных и уважаемых фирм, которые я позаимствовал из “Независимых Медиа Измерений”. У нас нет оснований, не доверять профессионализму или точности одной из приведенных в примере фирм, но результаты говорят сами за себя.

В реальной жизни и нет необходимости стремиться к 100 % точности измерений. Все-таки задача исследования не вымерять рынок с абсолютной точностью, а найти решения проблем стоящих перед фирмой и вызвавших потребность в проведении исследования. Наиболее часто критика теории исследований звучит со стороны японских маркетологов, которые обоснованно считают, что, увлекшись различными методами и способами измерений, исследователи забывают про реальных людей и их проблемы. По мнению японских фирм, достаточно 70 % вероятности успеха, чтобы уже начать действовать.

Но все-таки существуют способы позволяющие избежать грубых ошибок при проведении исследования. Вот их я и хотел бы здесь рассмотреть.

Откуда берутся ошибки?

Факторы, влияющие на надежность информации

Как их избежать?

Объект измерения - респондет может отказаться отвечать на вопросы, может дать ложную информацию, а может быть неправильно выбран сам объект (например, бесполезно опрашивать пешеходов о свойствах карбюратора автомобиля).

Что бы избежать первого источника ошибок изобретают самые разнообразные способы. Во-первых, это стимулирование ответов (небольшие презенты, сувениры), неплохих результатов можно достичь тщательной подготовкой вступления, которое заинтересовало бы отвечающего и вселило в него гордость за то, что выбор пал на него.

Второй вариант формирование выборки несколько больших размеров или введение поправочного коэффициента.

От второго источника ошибок защититься практически невозможно. Можно попробовать уменьшить количество ложных ответов за счет введения уклончивых ответов: "Нет ответа" и т.п. Можно попробовать формулировать вопросы просто и ясно, избегая личных и неприятных вопросов. Лучшим методом контроля можно считать использование контрольных вопросов. Они, как правило, должны быть скрытыми. То есть в разных местах анкеты вставляются одинаковые вопросы по разному сформулированные. Если респондент дал различные ответы, значит, доверять его анкете нельзя. Например: "Как много вы разговаривает по Вашему мобильному телефону?", а только затем, где-то скрыто, спросить: "Сколько часов без зарядки он выдерживает?"

В третьем случае следует внимательно подходить к формированию контура выборки и самой выборки. Целесообразно проверить ее репрезентативность (т.е. соответствие по параметрам всей совокупности и возможности распространить выводы на всю совокупность) при формировании выборки, а так же после проведения опроса.

Способы измерения - это ваша анкета. Избежать ошибок можно тщательной подготовкой и проработкой вопросов. Об этом более подробно написано на страничке про анкеты.

Интервьюер - тут возможны два случая: непонимание всех аспектов анкеты и сути исследования самим интервьюером; и умышленная фальсификация ответов. В первом случае необходимо больше внимания уделять подготовке интервьюера, совместному анализу вопросов и структуры анкеты. Во втором случае поможет старое народное правило, которое называется "Учет и контроль". Контролировать можно как фактическое перемещение интервьюера в пространстве и времени, так и проводить последующий мини опрос респондентов всеми доступными способами (как правило не более 10 % выборки).

Ошибки исследователя - можно разделить на две условные группы:

Случайные ошибки ввода - попросите предоставить кроме отчета об исследовании всю базу данных и расчетные таблицы. Проверьте их соответствие, отсутствие ошибок, если их меньше 5 %, то все нормально, если больше, то будьте бдительны.

Подтасовки - тут нет однозначных способов защиты. Иногда фальсификация выглядит лучше оригинала. Проверьте базы данных, если нет ошибок ввода, все респонденты дружно ответили на вопросы, а их ответы в основной массе совпадают, то, скорее всего, вас обманывают. Сравните цену и сроки проведения исследования с аналогами у других фирм. Если исследование проведено в ударные сроки по смешным ценам, то и тут вас, наверняка, обманывают.

Исследуйте, но будьте бдительны.