© IDIGITYOU
Архитектура бренда
Запуск нового продукта под известным брендом
Запускать новые продукты под известным именем — это не просто расширять линейку. Это момент, когда бренд выбирает, кем быть дальше. Когда стоит выводить новый бренд под зонтичной архитектурой, а когда — выпускать самостоятельную звезду? В этой статье разберёмся, какие триггеры подсказывают «пора», как не сжечь бюджет и репутацию, и какую архитектуру бренда выбрать, чтобы рост был не случайностью, а стратегией.
Это статья продолжение цикла статей о разработке и запуске великих брендов, рекомендую также ознакомиться с предыдущими статьями из цикла:
Как создаются великие бренды
Комплекс маркетинга при запуске нового продукта
Знание о бренде. Как измерить неизмеримое
Это статья продолжение цикла статей о разработке и запуске великих брендов, рекомендую также ознакомиться с предыдущими статьями из цикла:
Как создаются великие бренды
Комплекс маркетинга при запуске нового продукта
Знание о бренде. Как измерить неизмеримое
Что рассмотрим в этой статье?
Что такое a/b тестирование
Когда нужен a/b тест
С чего начать a/b тест
Шаблон метрик для A/B тестирования
Основные значения для проведения a/b теста
значимости и мощность?
Начнем с момента, когда возникает интент, что нужно двигать дальше и создавать свою архитекутуру бренда и как принимать это решение.
Что такое a/b тестирование
Когда нужен a/b тест
С чего начать a/b тест
Шаблон метрик для A/B тестирования
Основные значения для проведения a/b теста
значимости и мощность?
Начнем с момента, когда возникает интент, что нужно двигать дальше и создавать свою архитекутуру бренда и как принимать это решение.
Причины расширения портфеля бренда
Внешние - когда, коньюктура рынка сложилась таким образом, что вы должны реагировать, чтобы попросту выжить: у бренда падают рыночные показатели, конкуренты, напирают рыночные регуляторы.
Внутренние причины - когда родительский бренд не вмещает в себя новые направления, новый инновационный продукт и т.д. Когда требуется реструктуризация бизнеса: выделение дочерних направлений, объединение нескольких направлений под новой зонтичной структурой. Также к внутренней интенции относится стратегия расширения и захвата рынка - сюда идут инвестиционные сделки, M&A (слияние и поглощение).
Для бизнеса принципально важно действовать проактивно, т.е. не ждать наступления “обстоятельств”, а уметь прогнозировать и перехватывать инициативу. Для этого, безусловно, нужно наладить систему аналитики для бренда - подробно писала об этом здесь. А также иметь квалифицированную команду, которая может в краткий срок корректно отстроить бренд-плафторму. Важно здесь отметить, что выход с новым суббурендом, а тем более новым выделенным брендом - это история требующая больших инвестиций - как материальных, так и временных, поэтому решение, безусловно, должно опираться на цифры и качественную аналитику на базе пилота - о чем тоже поговорим.
Поехали, подробнне рассмотрим возможные причины для появления в вашей компании архитектуры бренда.
Внутренние причины - когда родительский бренд не вмещает в себя новые направления, новый инновационный продукт и т.д. Когда требуется реструктуризация бизнеса: выделение дочерних направлений, объединение нескольких направлений под новой зонтичной структурой. Также к внутренней интенции относится стратегия расширения и захвата рынка - сюда идут инвестиционные сделки, M&A (слияние и поглощение).
Для бизнеса принципально важно действовать проактивно, т.е. не ждать наступления “обстоятельств”, а уметь прогнозировать и перехватывать инициативу. Для этого, безусловно, нужно наладить систему аналитики для бренда - подробно писала об этом здесь. А также иметь квалифицированную команду, которая может в краткий срок корректно отстроить бренд-плафторму. Важно здесь отметить, что выход с новым суббурендом, а тем более новым выделенным брендом - это история требующая больших инвестиций - как материальных, так и временных, поэтому решение, безусловно, должно опираться на цифры и качественную аналитику на базе пилота - о чем тоже поговорим.
Поехали, подробнне рассмотрим возможные причины для появления в вашей компании архитектуры бренда.
Важное про маркетинг
Когда нужен A/B тест?
1. Оптимизация ресурсов: прежде, чем начинать долгую и дорогую разработку нового функционала продукта/фичи/креативной концепции, можно протестировать прототип, лишь одну идею изменения или концепции прежде, чем инвестировать в нее.
2. Улучшение метрик текущего продукта/фичи/креативной концепции. Например, вы решили, что если перенесете кнопку с правой части сайта в центр, то у вас повысится конверсия, либо, если вы перекрасите баннер в желтый, то на него больше будут кликать.
3. Не ухудшение метрик. Важная задача a/b теста доказать, что при внесении изменений в текущий продукт/функционал/креатив и т. д. не ухудшатся метрики. Например, если вы решили сделать масштабный редизайн сайта, а пользователи привыкли к старому.
2. Улучшение метрик текущего продукта/фичи/креативной концепции. Например, вы решили, что если перенесете кнопку с правой части сайта в центр, то у вас повысится конверсия, либо, если вы перекрасите баннер в желтый, то на него больше будут кликать.
3. Не ухудшение метрик. Важная задача a/b теста доказать, что при внесении изменений в текущий продукт/функционал/креатив и т. д. не ухудшатся метрики. Например, если вы решили сделать масштабный редизайн сайта, а пользователи привыкли к старому.
С чего начать a/b тест?
1. Определите бизнес-задачу, которую вы хотите решить. Например, вам необходимо увеличить онлайн-продажи, либо количество подписчиков, LTV и т.п.
2. Посчитайте экономику проекта — определите ROI, при каком уровне увеличения конверсии и планируемых затрат проект выйдет на необходимую рентабельность от реализации данной гипотезы.
3. Разработайте гипотезу, которая будет решать бизнес-задачу и выйдет на нужный уровень ROI. Пример: если поднять форму «Связаться с нами» снизу лендинга вверх, то увеличим конверсию в n-раз.
4. Определите ключевую метрику тестирования. Каждая гипотеза должна иметь за собой конкретные метрики. Определите, насколько вырастит ключевая метрика и в какой период. Именно эту метрику вы будете отслеживать при тестировании.
Необходимо понимать, что бизнес-задача и ключевая метрика — это разные вещи. Например, вы тестируете тему письма и основная метрика, которую вы будете отслеживать — это открываемость писем, т. е. OR (open rate). При этом содержание данного письма призывает пользователей продлить подписку на ваш сервис. В данном случае бизнес-задача – увеличение количества подписок. Гипотеза – увеличение открываемости писем (OR) будет больше, соответственно и количество продлений подписок должно увеличиться.
5. Определите сегмент пользователей: какая аудитория участвует в тесте: старые или новые пользователи, активные или нет. Определите характеристику сегмента по соцдему, по поведению, типам платформ, географии и т. д.
2. Посчитайте экономику проекта — определите ROI, при каком уровне увеличения конверсии и планируемых затрат проект выйдет на необходимую рентабельность от реализации данной гипотезы.
3. Разработайте гипотезу, которая будет решать бизнес-задачу и выйдет на нужный уровень ROI. Пример: если поднять форму «Связаться с нами» снизу лендинга вверх, то увеличим конверсию в n-раз.
4. Определите ключевую метрику тестирования. Каждая гипотеза должна иметь за собой конкретные метрики. Определите, насколько вырастит ключевая метрика и в какой период. Именно эту метрику вы будете отслеживать при тестировании.
Необходимо понимать, что бизнес-задача и ключевая метрика — это разные вещи. Например, вы тестируете тему письма и основная метрика, которую вы будете отслеживать — это открываемость писем, т. е. OR (open rate). При этом содержание данного письма призывает пользователей продлить подписку на ваш сервис. В данном случае бизнес-задача – увеличение количества подписок. Гипотеза – увеличение открываемости писем (OR) будет больше, соответственно и количество продлений подписок должно увеличиться.
5. Определите сегмент пользователей: какая аудитория участвует в тесте: старые или новые пользователи, активные или нет. Определите характеристику сегмента по соцдему, по поведению, типам платформ, географии и т. д.
Скачать шаблон метрик для A/B тестирования
Минимальный обнаруживаемый эффект (MDE) — это значение, которое оценивает наименьшее изменение ключевой метрики, которое можно обнаружить при текущих данных.
Для его расчета необходимо знать:
1. Текущий трафик.
2. Текущий показатель конверсии (CR) .
На практике MDE указывает, что чем меньше прогнозируемое значение увеличения конверсии, тем больше нужна выборка. Чем больше прогнозируемое значение увеличения конверсии, тем меньше нужна выборка.
Чтобы увидеть изменения на незначительный процент, вам понадобится гораздо больше людей, которые примут участие в тесте. Понятно, что если вы прогнозируете увеличение конверсии в два, в три или больше раз, то понадобится меньше людей.
Предположим, текущая конверсия на контрольной странице — 10%, трафик - 100 000 пользователей, MDE в таком случае будет 4,87% - это значит, что ваш тест обнаружит только изменения, которые приведут конверсию:
В реальности размер выборки и MDE соответственно можно определить 2-мя способами:
1. С помощью калькулятора, например этого на вкладке Pre-test Analysis и она разложит вам MDE понедельно до 6 недель.
2. Указать целевой MDE или тот % изменения конверсии, который вы прикинули в своей бизнес-модели.
Совет здесь один, если у вас раскрученный сервис с большой аудиторией - можно уменьшать значение MDE - большой поток аудиории позволит выявить небольшие изменения, которые в масштабе принесут большие результаты. Для стартапов и сервисов с небольшим трафиком - стоит закладывать целевой MDE c достаточным ростом, чтобы длительность теста не заняла месяцы.
Заполняем калькулятор дальше, чтобы понять минимальный размер выборки для теста.
В поле Conversion Rate — указываем текущую конверсию.
У нас большая аудитория, мы можем позволить себе указать MDE = 10%, т.е. наш целевой MDE = 11% (текущий CR=10% + 10%)
Statistical Significance — статистическая значимость, обозначается буквой α — ограничивает вероятность, что мы выберем тестовый вариант, хотя он на самом деле хуже текущего варианта (контроля) . Статистическая значимость предостерегает нас от впустую потраченных ресурсов на тестовый вариант, который на самом деле хуже или такой же как текущий вариант. Такое поведение называется ошибкой I типа. Обычно, уровень статистической значимости колеблется от 1 до 10%, на практике ставится — 5% (100-95 = 5%).
Statistical power — уровень статистической мощности, определенный как 1-β, где β - вероятность ошибки II типа. Величина β определяет вероятность решения в пользу текущего варианта — контроля, хотя тестовый вариант на самом деле лучше. Таким образом, уровень статистической мощности интерпретируется как вероятность не совершить оишбку второго рода. Выбранный процент мощности определяет уровень доверия к результатам, которые показывает текущий вариант решения (контроль) . Обычно по умолчанию ставится — 80%.
Для его расчета необходимо знать:
1. Текущий трафик.
2. Текущий показатель конверсии (CR) .
На практике MDE указывает, что чем меньше прогнозируемое значение увеличения конверсии, тем больше нужна выборка. Чем больше прогнозируемое значение увеличения конверсии, тем меньше нужна выборка.
Чтобы увидеть изменения на незначительный процент, вам понадобится гораздо больше людей, которые примут участие в тесте. Понятно, что если вы прогнозируете увеличение конверсии в два, в три или больше раз, то понадобится меньше людей.
Предположим, текущая конверсия на контрольной странице — 10%, трафик - 100 000 пользователей, MDE в таком случае будет 4,87% - это значит, что ваш тест обнаружит только изменения, которые приведут конверсию:
- либо выше 10% на 4.87%, то есть до 10.487% и выше,
- либо ниже 10% на 4.87%, то есть до 9.513% и ниже.
В реальности размер выборки и MDE соответственно можно определить 2-мя способами:
1. С помощью калькулятора, например этого на вкладке Pre-test Analysis и она разложит вам MDE понедельно до 6 недель.
2. Указать целевой MDE или тот % изменения конверсии, который вы прикинули в своей бизнес-модели.
Совет здесь один, если у вас раскрученный сервис с большой аудиторией - можно уменьшать значение MDE - большой поток аудиории позволит выявить небольшие изменения, которые в масштабе принесут большие результаты. Для стартапов и сервисов с небольшим трафиком - стоит закладывать целевой MDE c достаточным ростом, чтобы длительность теста не заняла месяцы.
Заполняем калькулятор дальше, чтобы понять минимальный размер выборки для теста.
В поле Conversion Rate — указываем текущую конверсию.
У нас большая аудитория, мы можем позволить себе указать MDE = 10%, т.е. наш целевой MDE = 11% (текущий CR=10% + 10%)
Statistical Significance — статистическая значимость, обозначается буквой α — ограничивает вероятность, что мы выберем тестовый вариант, хотя он на самом деле хуже текущего варианта (контроля) . Статистическая значимость предостерегает нас от впустую потраченных ресурсов на тестовый вариант, который на самом деле хуже или такой же как текущий вариант. Такое поведение называется ошибкой I типа. Обычно, уровень статистической значимости колеблется от 1 до 10%, на практике ставится — 5% (100-95 = 5%).
Statistical power — уровень статистической мощности, определенный как 1-β, где β - вероятность ошибки II типа. Величина β определяет вероятность решения в пользу текущего варианта — контроля, хотя тестовый вариант на самом деле лучше. Таким образом, уровень статистической мощности интерпретируется как вероятность не совершить оишбку второго рода. Выбранный процент мощности определяет уровень доверия к результатам, которые показывает текущий вариант решения (контроль) . Обычно по умолчанию ставится — 80%.
Мы получаем размер выборки для каждого из вариантов - 14 312 уникальных посетителей - вполне реально при 100 тысячной аудитории.
Далее вводим ежедневную аудиторию - допусим, 5 тысяч посетителей и количество вариантов тестирования - в нашем примере их 2, получаем 5 дней длительности теста.
Как все же определить уровень
значимости и мощность?
Все опять же упирается в бизнес-задачу и экономику проекта. Если тестируется несложное, дешевое в своей реализации, легко отменяемое изменение в интерфейсе, например, добавление дополнительной кнопки, то решающую роль будет играть статистическая мощность. Если нововведение действительно окажет влияние на конверсию, нам важно ее внедрить. Если же задача сложнее, например, внедрение меню с новой системой категорий товаров — такое изменение дорогое, долгое и может значительно повлиять на поведение пользователей — для тестирования данной гипотезы необходимо повысить статистическую значимость.
Выводы: основная задача продуктового маркетолога корректно подготовить задачу a/b тестирования. Хорошо понимать, что и зачем тестируется, какую бизнес-задачу решаем и какие метрики будем мерить, а также корректно просчитать экономику проекта — ресурсозатраты, ROI, время выхода на необходимые показатели при внедрении гипотезы.
Полезные ресурсы для a/b тестирования:
Калькулятор с расчетом MDE
Еще один калькулятор
Выводы: основная задача продуктового маркетолога корректно подготовить задачу a/b тестирования. Хорошо понимать, что и зачем тестируется, какую бизнес-задачу решаем и какие метрики будем мерить, а также корректно просчитать экономику проекта — ресурсозатраты, ROI, время выхода на необходимые показатели при внедрении гипотезы.
Полезные ресурсы для a/b тестирования:
Калькулятор с расчетом MDE
Еще один калькулятор
Важное про маркетинг