Как считаем результат

Коротко о том, откуда берутся цифры в отчёте. Для тех, кто будет защищать решение перед руководителем или исследователем в своей компании.

Оценки по параметрам

Каждый параметр, например «Понятно» или «Доверяю», человек оценивает от 1 до 5. В отчёте показываем долю тех, кто поставил 4 или 5. Так проще сравнивать: «понятно 88% людей» читается быстрее, чем «средний балл 4,1».

Итоговый балл

Балл от 0 до 100 — средняя доля оценок 4 и 5 по всем параметрам. «Нравится», «Доверяю» и «Куплю» весят в полтора раза больше остальных: они ближе всего к решению о покупке.

Итоговый балл = (сумма долей × вес) ÷ (сумма весов)
вес 1,5 у «Нравится», «Доверяю», «Куплю», у остальных 1

Случайна ли разница

Если вариант Б набрал 78, а вариант А 61, это ещё не значит, что Б лучше: на другой сотне людей цифры немного сдвинутся. Мы проверяем, может ли такая разница получиться случайно. Если вероятность меньше 5%, пишем «разница не случайная». Если больше, пишем «в пределах погрешности» и советуем, сколько людей добавить.

Погрешность

Насколько может сдвинуться доля при повторе на других людях (при доле около 50%, с уверенностью 95%):

Людей на вариантПогрешность
50± 14 п. п.
100± 10 п. п.
150± 8 п. п.
200± 7 п. п.
300± 6 п. п.
400± 5 п. п.

Для сравнения двух вариантов берите от 100 человек на каждый.

Сравнение с другими тестами

В отчёте рядом с вашими цифрами — средний результат похожих тестов. Вопросы в тестах одного типа одинаковые, поэтому их можно сравнивать. Средние пересчитываем раз в квартал, по мере того как тестов становится больше. Пока похожих тестов меньше тридцати, сравниваем варианты между собой и с вариантом для сравнения, например рекламой конкурента.

Открытые ответы

Что люди написали своими словами, ИИ раскладывает на темы и считает, какая доля говорит о каждой. Исследователь проверяет темы, выбирает цитаты и пишет, что из этого следует.

Чистка анкет

Слишком быстрые, одинаковые, невнимательные и бессмысленные анкеты убираем и заменяем. Подробнее о проверке