В двух предыдущих статьях Индекса была прелюдия. Конкретная информация появляется в данной статье. Во-первых, мы рассмотрим результаты опроса и убедимся, что провайдеры смотрят на собственные преимущества несколько иначе, чем потребители. Во-вторых, увидим, наконец, схему данных, по которым будет считаться Индекс.

В прошлой серии была размещена форма с некоторым количеством вопросов, которые были "хитро" распределены на тех посетителей Наг.ру (и не только), кто ощущает себя "потребителем телекоммуникационных услуг" и тех, кто заявился, как "поставщик" или "провайде". Ответов было собрано в два раза больше, чем в серии начальной - 144 против 69. Несмотря на то, что по посещаемости статья "про цели" была несколько ниже (хм...). Зато конверсия получилась более 9%.

Vox populi

Динамика ответов была следующая:

… и десятого марта я закрыл опрос совсем, дабы начать писать эти строки.

Итог по разделившимся мнениям получился следующий:

… примерно треть респондентов сказались "провайдерами", остальные, соответственно, "Потребители услуг".

Всего же было задано двенадцать каверзных вопросов о "важности критериев выбора", которые предполагалось оценить по самой простой шкале - критерий мог быть: "Очень важным" (оценивался в  +2 балла), "Важным" (+1), "Нейтральным" (0), "Не очень важным" (-1) и "Совсем неважным" (-2 балла).

Если смотреть на ответы по каждому из критериев, не разделяя мнений "провайдеров" и "потребителей", то результаты оказываются довольно предсказуемыми. В некоторых случаях. И они следующие:

… Цена оказываемых услуг - критерий весьма важный. Здесь график приведен просто по частоте ответов без деления их на "потребителей" и "провайдеров". Поскольку в данной форме никаких личных и персональных данных не собиралось, я открою сводку ответов целиком. Это позволит сэкономить в объеме текста - меня и так начали обвинять, что пишу "слишком много букв". Некоторые ответы в открытой форме тоже забавны - авторы перлов, не обижайтесь. Все равно вас никто не узнает. :) По запросу для имеющих гуглоаккаунт, открою таблицу целиком.

А вот что происходит, если сделать срез ответов для "провайдеров" и "потребителей". Начнем с главного - с цены:

На диаграммах простая частота ответов. Верхняя "таблетка", как видно по надписи, "Потребитель" и нижняя - "Провайдер". Для цветовой дифференциации штанов ответов, я раскрасил "важные" и "очень важные" в оттенки зеленого, нейтральные ответы - оранжевые и ответы, отметившие критерии, как "неважные" - оттенки красного.

В критерии "Цена" никакой сенсации не случилось - все респонденты назвали цену оказываемых услуг, как один из самых важных критериев при выборе оператора интернетов. С той разницей, что потребители гораздо чаще отмечали его, как "Очень важный". Один нашелся с ответом "Не очень важный", но погоды не сделал. Провайдеры в целом отметили, что цена, да, важна, но не то, чтобы "очень-очень".

Для пущего понимания, я сделал еще пару сравнительных диаграмм. Вот такая картина получилась для критерия "Скорость доступа":

… где расхождение между провайдерами и потребителями в оценках "очень важно" и просто "важно" более показательны. Получается, что критерий "скорости" гораздо важнее потребителям, чем провайдерам. И тому есть объяснение - когда человек сравнивает два почти одинаковых товара, то гораздо проще оперировать характеристиками, выраженными в цифрах. Цифры сравнивать проще. Например, два почти одинаковых автомобиля сравнивают по "мощности двигателя в лошадиных силах", хотя на самом деле, двигатели могут различаться не только и не столько "лошадьми". Но так проще и более показательно.

Еще одна сравнительная диаграмма, которая, лично для меня, стала некоторой загадкой. Вот так респонденты отнеслись к критерию "бренд":

… как видно, мнения менее консолидированы. Но вот такой Vox populi. Он же Vox Deu. По мнению подавляющего большинства респондентов, особенно из категории "потребитель", бренд поставщика телекоммуникационных услуг вообще не важен. Провайдеры же ответили сдержанной нейтральностью.

Показательны некоторые высказывания из открытого поля (ответы, напомню, я целиком раскрыл):

• "Важна надежность предоставляемой услуги. Если работает все стабильно и без сбоев, то хоть от Васи Пупкина интернет".
• "Главное чтобы провайдер не врал - о том что он может и готов предоставить, очень желательно чтобы  персонал организации провайдера”  имел хотя бы минимальные представления о клиентоориентированности".

Орфография авторская.

Для желающих поиграть с цифрами "Очень важно" и "Совсем неважно", я попытаюсь вставить интерактивную табличку:

К-ОВ означает "Клиент - Очень Важно". К-СНВ, соответственно "Клиент - Совсем НеВажно". Тоже самое для П(ровайдера). Иначе получались слишком длинные заголовки у столбцов.

Ну, и итоговая диаграмма, рассчитанная по "индексу важности":

… Синие столбцы - Потребительские оценки, красные - Провайдерские. Индекс рассчитывался, как среднее между суммами всех оценок для каждого критерия: "Очень важным" (оценивался в  +2 балла), "Важным" (+1), "Нейтральным" (0), "Не очень важным" (-1) и "Совсем неважным" (-2 балла).

Таким образом, если бы все респонденты ответили по какому-либо из критериев "Очень важно", то в сумме бы получилось максимальное "2". И наоборот - если бы все ответили "Совсем неважно", то вышло бы минимальное "-2".

Как видно, потребительским лидером критерия стал критерий "гарантированность скорости доступа", что бы это ни значило. Лидер по важности среди провайдеров "Наличие и качество технической поддержки", который потребителями был оценен тоже высоко, но несколько ниже "Цены", "Скорости" и "Гарантий".

Практические выводы можно делать самостоятельно, я же замечу, что взгляд поставщика и взгляд потребителя должен отличаться, ибо эти два субъекта находятся по разные стороны баррикад прилавка. Это правильно, когда предмет с разных сторон выглядит иначе. И именно поэтому я и затеваю исследование - выяснить, что и как видит потребитель. Понимание видения потребителя позволит предоставлять именно те услуги, которые требуются. Что, собственно, повышает удовлетворение клиентов и, как это ни странно, эффективность работы провайдера.

Но продолжим разбор "разных точек зрения". Наиболее интересны те критерии, где имеется наибольшее расхождение во мнениях - я выделил следующие критерии, где разница больше 0,3 условных баллов (по возрастанию разницы):

• "Скорость доступа" - провайдеры считают, что данный критерий не так важен, как потребители.
• "Участие оператора в благотворительности и госпроектах" - самый неважный критерий с точки зрения и потребителей, и провайдеров. При этом существующую разницу в 0,42 условных балла можно объяснить более сдержанным отношением провайдеров. Кстати, данный вопрос может быть интересен в исследовании, например, открытия зон доступа free wi-fi в местах массового скопления людей. Но тут, конечно, ответ неоднозначный и нерелевантный.
• Уже упоминаемый и разложенный на составляющие критерий "Известность бренда". Разницу в 0,5 балла можно объяснить некорректной постановкой вопроса. На самом деле, известность бренда влияет на новые подключения, хотя бы потому, что неофит в первую очередь обратится туда, куда он знает. Ну, не может же человек позвонить по неизвестному телефону в неизвестную компанию.
• "Наличие дополнительных услуг" - также получило большую оценку со стороны провайдера, которые указали данный критерий чуточку "важным". Потребители же, с разницей в 0,51 балла указали, что никакие дополнительные услуги не так уж важны.
• Критерий "Частота упоминания в СМИ", на самом деле, сильно связан с известностью бренда. Действительно, когда провайдер уже выбран, то бессмысленно читать о нем в местной газете. Хотя сами провайдеры не так категоричны в оценке рекламы и прочего PR.
• "Наличие достоверной информации" оценено больше как важный критерий, хотя потребители отнеслись к нему более нейтрально. Разница в 0,59 баллов показывает, что провайдеры несколько переоценивают данный критерий, ибо большинству потребителей лень читать, например, портянки акционерных отчетов. Принцип "необходимого и достаточного" должен быть.
• Самый спорный критерий, результат по которому лично меня удивил: "Рекомендации друзей и знакомых" потребителями воспринимается больше нейтрально и даже чуточку неважно. Склонен не поверить данному результату из-за низкой релевантности респондентов. Все же посетители Наг.ру в большей степени люди продвинутые, и сами "рекомендуют". А на вопрос ответили субъективно.

Общий вывод из данного раздела статьи: потребители и поставщики склонны по-разному оценивать услуги и товары. Для того чтобы поставщик в наибольшей степени соответствовал запросам потребителя, надо "спросить клиента".

Я даже вспомнил, что у меня была обширная статья на данную тему из серии "Идеальный оператор". Это было в далеком уже 2010 году.

Ante mare undae

На основании вывода предыдущего, позволю себе напомнить, что цель цикла, подвинуть сообщество на масштабное исследование, цели и задачи которого я в меру своих способностей описал в предыдущей уже статье. Надеюсь, что те, кто еще ее не прочитал, возьмут себя в руки и осилят. Ну, или поручат осилить специально обученному человеку.

Выводы же из вышеприведенного "исследования" вовсе не показательны в плане принятия именно практических решений.

Решения же из проведенного исследования можно будет сделать на основании ответов на следующие вопросы:

1. Соответствует ли конкретная компания-провайдер общим трендам, действующим на рынке.
2. В каком ценовом сегменте (рассматривается B2C) находится конкретная компания.
3. Каков уровень удовлетворенности услугами в целом на рынке и конкретной компании в частности.
4. Насколько известна конкретная компания на локальном рынке по отношению к глобально российскому и с некоторой долей достоверности региональному рынку.
5. По каким критериям качества оказания услуг в большей степени соответствует конкретная компания, а по каким соответствия необходимо добиваться.

В общем виде схема расчета Индекса выглядит вот таким довольно сложным образом:

… окончательно методика сейчас пилится усиленными темпами. Как и обещано, методика будет разослана всем заинтересованным провайдерам после подписания двустороннего соглашения о неразглашении, сиречь NDA. Бесплатно.

Для меня подписанное NDA это хоть какая-то защита от копирования со стороны конкурирующих "аналитических агентств" и фактически лиды для последующего извлечения прибыли. На мой взгляд, такой подход достаточно справедлив, ибо работа разработке методики, на самом деле, не такая уж и простая.

Но попробую объяснить приведенную схему словами.

Первые три модуля "Цена" (Р1), "Качество (обслуживания)" (Р2) и "Скорость доступа" (Р3) содержат, во-первых, количественную оценку в виде шкалы Лайкерта с десятибалльной оценкой: от "Весьма устраивает", до "Категорически не устраивает". Эта оценка пойдет в расчет промежуточного "Потребительского индекса", который оценивает провайдера, указанного респондентом и общего индекса.

Во-вторых, эти модули содержат форму для оценки текущего количественного показателя: для "Цены" это "Сколько вы сейчас платите в рублях", для "Скорости" - "На какой скорости вы в настоящее время подключены к Сети". Для модуля "Качество" - несколько закрытых вопросов типа "Обращались ли вы службу техподдержки", "Обеспечивает ли провайдер заявленные параметры скорости" и т.п. Подробности в методике.

Подсчет “Потребительского индекса” (PS) осуществляется по принципу интегрального показателя, по формуле:

PS = (P1*KS1 + P2*KS2 + P3*KS3) / 3

Коэффициенты KS1-3 будут определены экспертно, и разглашать их не планируется.

Отдельные сущности, это "Известность (упоминаемость) бренда" и уже описанный (см. первую статью) индекс NPS.

Известность бренда возникает из частоты упоминаний в открытом поле формы: "назовите известные вам названия и торговые марки провайдеров". С данной формой предвижу большие проблемы по ручной обработке, ибо могут назвать и ОАО "Ростелеком", и "Ростелеком", и какой-нибудь Utel, что по сути одно и тоже, но потребители этого могут и не знать. Частота упоминаемости будет количественно превращена в частный показатель, а через опять-таки частный коэффициент K4 вольется в итоговый "Индекс КРОСа". За единственным исключением - используется только для расчета Индекса для конкретного оператора. В общем индексе показатель не применим.

Индекс NPS вливается в общий Индекс аналогичным способом, за исключением того, что он применим и для общего и для "брендированного" индексов. Кроме того, собственно NPS тоже будет опубликован.

Скорее всего, в публичном отчете будут упомянуты те компании, бренд которых будет упоминаться чаще остальных - например, ТОП10 или даже ТОП20 наиболее известных. Посмотрим по итогам.

Общий Индекс КРОСа рассчитывается по следующей формуле:

KROS = ((P1*K1 + P3*K3 + PS*K3) / 3 *(10-K5) + PN*10*K5) / 2

Напомню, что индекс NPS сам по себе самодостаточен и может быть отрицательным. Коэффициент K5 нужен для "выравнивания веса" индекса и для того, чтобы запутать привести его значение к единому формату. Напомню, что индексы Р1-2, а так же производный от них PS будет от 1 до 10. Индекс NPS считается в процентах, и, следовательно, его нужно просто умножить на 10 и соответствующий весовой коэффициент.

Согласен, что пока получается не слишком стройная система с коэффициентами - в методике будет более точная модель.

В завершении, итоговые отчеты будут иметь некоторые срезы относительно демографических данных респондентов, которые планируется собирать. А именно:

• География в разрезе "Федеральный округ", "Субъект РФ" и "Город". Последние два - только для крупных в итоговом отчете и конкретный населенный пункт для частного отчета.
• Гендерные данные (пол, если проще).
• Возраст - в шкале от "младше 20", до "старше 60".
• Уровень дохода, так, как оценивают его сами респонденты, тоже по шкале.
• Образование. Разумеется, по шкале.

В общем, вся рутина, которой оперирует ВЦИОМ или ФОМ.

Кстати. К вопросу, почему из выборки исключен Северо-Кавказский федеральный округ. Разъясняю. Дело в том, что для правдоподобности случайной выборки на всю территорию России необходимо соблюдать пропорции по регионам (на самом деле, очень желательно еще соблюсти и гендерное распределение, и возрастное), в соответствии с выделенными квотами. Квоты рассчитываются так (сделан в разрезе по ФО, чтоб огромной таблицей не засорять статью - данные Росстат):

Для справки, в СКФО проживает 9 542 640 человек (7% населения) и квота на него составила бы порядка сотни (106) респондентов. Не то чтобы сотню было трудно найти. Но банально ни один город СКФО не входит в таргетинг ведущих российских рекламных сетей. А если существует, то прогноз показов сильно ниже, чем статистические 7%. Честно говоря, и Дальний Восток не особо релевантен. Но ДВ хотя бы понятный, с точки зрения языка размещения, в отличие от национальных республик Северного Кавказа, где, для чистоты исследования, требуется размещение объявлений (и анкет!) и на национальных языках. В общем, сложный это регион. Да, неудобный. И требуется региональный эксперт и если он будет найден - то СКФО будет в исследование включен.

А по приведенной выше таблице становится понятен тот объем работ, который нужно провести, да так, чтобы региональные (а еще, напомню, гендерные и возрастные) квоты соблюдались с некоторой долей точности. И чтобы в результаты исследования не попало слишком много москвичей, питерцев и прочих жителей мегаполисов.

Scientia potentia est

Полное и исчерпывающее исследование только в части первичного сбора данных требует (ранее посчитано) минимум 365 тыс. рублей. Но все же хочется еще и заработать, хотя бы с целью продолжить исследования, а самое интересное появится со временем, когда можно будет видеть динамику изменения индексов.

В предыдущей статье меня коллеги поправили в неуемной жадности. Согласен. И демонстрирую схему, как будут собираться, и публиковаться данные:

Одним из проблемных был вопрос о том, что данные, собранные от провайдеров по бесплатно розданной методике, вольются в общий индекс и тем самым испортят картину случайности. Спешу сообщить, что, подумав, решил, что никакие данные провайдеров информационных партнеров в итоговую таблицу не войдут. И если войдут, то только по обоюдному решению и только в качестве сравнительных.

Основные данные все же планируется собирать опросным случайным методом по региональным квотам, по возможности соблюдая и прочие демографические соотношения. Это достигается подачей четко таргетированных рекламных объявлений на ведущих рекламных площадках. Поскольку необходимо собрать ответы порядка 1600 респондентов, анкеты дробятся партиями по две сотни форм-таблиц, каждая из которых не должна (по науке) отличаться от общего результата на более чем 10% плюс-минус. Если результаты конкретной таблицы будут расходиться на большую цифру, то таковая может быть забракована и сбор ответов организован по новой.

Интернет-опрос, по идее, должен быть верифицирован опросом личным, также в объеме двух сотен анкет. И также расхождение не должно превышать плюс-минус десять процентов.

Этим нехитрым, но трудоемким способом достигается приемлемая релевантность опроса окружающей среде.

И вот тут мы переходим к партнерским схемам еще раз.

Повторюсь, что партнерство может быть двух типов: во-первых, бесплатное, на основе заключенного NDA, но при этом я не обещаю, что возьмусь делать срезы по конкретному провайдеру. Все данные у вас будут, и вы сможете самостоятельно рассчитать свои показатели, на основе которого делать свои выводы и принимать свои решения. Единственное, что не сможет делать провайдер на основании NDA - публиковать результаты (как, впрочем, и я). А еще рассчитать сравнимые индексы для собственной компании - коэффициенты для расчета закрыты.

Во-вторых, в случае заключения договора на оказание платных услуг, провайдер получит полный сводный отчет и плюс отчет персональный, написанный под конкретную компанию. Но это только на условиях предоплаты, ибо расходы я несу также вперед. Цена по просьбе трудящихся снижена вдвое, ибо рынок, похоже, действительно таков - 15 тыс. рублей (жалкие 500 долларов) не покажутся чрезмерными, при условии, что заказчик получает уникальный отчет, доступный только ему, плюс общий сводный.

После генерации сводного отчета (по итогам всего проекта), он будет урезан до уровня общих данных и опубликован на Наге. И озвучен на КРОСе. Точнее, сначала озвучен, а уже потом опубликован. :)

Полная версия - все же платная. Кто-то же должен возместить затраты и оплатить работу. И цена будет аналогичной - 15 000 рублей. Ибо "sero venientibus ossa" и не нужно "покупать кота в мешке" - результат уже виден и ясен. Частные показатели в итоговый отчет не входят. Ибо если вы уже начали собирать данные, то уверен, что в какой-то момент вы поймете, что данное исследование стОит этих денег. Либо вам будет достаточно полученных данных.

Запросы на методику и NDA принимаются уже с этого момента - контакты имеются в профиле. Вопросы, комментарии, предложения всячески приветствуются. Критика тем более.

От редакции: если у вас есть чем поделиться с коллегами по отрасли, приглашаем к сотрудничеству.