Optimizely Intelligence Cloud: как использовать Stats Engine для более умного и быстрого A / B-тестирования

Optimizely Stats Engine и стратегии A / B-тестирования

Если вы хотите запустить программу экспериментов, чтобы помочь своему бизнесу в тестировании и обучении, скорее всего, вы используете Optimizely Intelligence Cloud - или, по крайней мере, вы на это смотрели. Optimizely - один из самых мощных инструментов в игре, но, как и любой другой подобный инструмент, вы можете использовать его неправильно, если не понимаете, как он работает. 

Что делает Optimizely таким мощным? В основе его набора функций лежит наиболее информированный и интуитивно понятный механизм статистики в стороннем инструменте, позволяющий вам больше сосредоточиться на проведении важных тестов в реальном времени, не беспокоясь о том, что вы неправильно интерпретируете свои результаты. 

Подобно традиционному слепому медицинскому исследованию, A / B тестирования случайным образом покажет разные лечение вашего сайта для разных пользователей, чтобы затем сравнить эффективность каждого лечения. 

Затем статистика помогает нам сделать выводы о том, насколько эффективным может быть это лечение в долгосрочной перспективе. 

Большинство инструментов A / B-тестирования полагаются на один из двух типов статистических выводов: частоту или байесовскую статистику. У каждой школы есть свои плюсы и минусы - статистика частотности требует, чтобы размер выборки был установлен до проведения эксперимента, а байесовская статистика в основном заботится о принятии правильных решений по направлению, а не о конкретном значении воздействия, чтобы назвать два примера. Сверхдержава Optimizely в том, что это единственный инструмент на рынке сегодня, позволяющий Лучшее обоих миров подхода.

Конечный результат? Optimizely позволяет пользователям проводить эксперименты быстрее, надежнее и интуитивно понятнее.

Однако, чтобы в полной мере воспользоваться этим, важно понимать, что происходит за кулисами. Вот 5 идей и стратегий, которые помогут вам использовать возможности Optimizely как профессионал.

Стратегия №1: Поймите, что не все показатели одинаковы

В большинстве инструментов тестирования часто упускается из виду, что чем больше показателей вы добавляете и отслеживаете как часть теста, тем выше вероятность того, что вы увидите какие-то неверные выводы из-за случайной случайности (в статистике это называется «проблема множественного тестирования»). »). Чтобы результаты были надежными, Optimizely использует ряд средств управления и исправлений, чтобы снизить вероятность того, что это произойдет, насколько это возможно. 

Эти элементы управления и исправления имеют два значения, когда вы переходите к настройке тестов в Optimizely. Во-первых, показатель, который вы назначаете своим Основной показатель быстрее всего достигнет статистической значимости, при прочих равных условиях. Во-вторых, чем больше метрик вы добавите к эксперименту, тем больше времени потребуется вашим последующим метрикам, чтобы достичь статистической значимости.

Планируя эксперимент, убедитесь, что вы знаете, какая метрика будет вашим истинным севером в процессе принятия решений, сделайте это своей основной метрикой. Затем постарайтесь сохранить остальную часть вашего списка показателей, удалив все лишнее или несущественное.

Стратегия №2: Создайте свои собственные атрибуты

Optimizely дает вам несколько интересных и полезных способов сегментировать результаты экспериментов. Например, вы можете проверить, работают ли определенные методы лечения лучше на настольных компьютерах по сравнению с мобильными, или увидеть различия между источниками трафика. Однако по мере развития вашей программы экспериментов вы быстро захотите использовать новые сегменты - они могут быть специфичными для вашего варианта использования, например, сегменты для разовых покупок или покупок по подписке, или такие общие, как «новые и вернувшиеся посетители» (что, честно говоря, мы до сих пор не можем понять, почему это не предусмотрено из коробки).

Хорошая новость заключается в том, что с помощью поля Project Javascript Optimizely инженеры, знакомые с Optimizely, могут создавать любое количество интересных настраиваемых атрибутов, которым можно назначать и сегментировать посетителей. В Cro Metrics мы создали ряд стандартных модулей (например, «новые и вернувшиеся посетители»), которые мы устанавливаем для всех наших клиентов через их Project Javascript. Использование этой способности является ключевым отличием между зрелыми командами, у которых есть необходимые технические ресурсы, чтобы помочь им в выполнении, и командами, которые изо всех сил пытаются реализовать весь потенциал экспериментов.

Стратегия №3: Изучите ускоритель статистики Optimizely

Одна из часто чрезмерно раздуваемых функций инструмента тестирования - это возможность использовать «многоруких бандитов», тип алгоритма машинного обучения, который динамически меняет распределение вашего трафика в ходе эксперимента, чтобы направить как можно больше посетителей на «победитель». вариации насколько это возможно. Проблема с многорукими бандитами заключается в том, что их результаты не являются надежными индикаторами долгосрочной эффективности, поэтому варианты использования для этих типов экспериментов ограничиваются чувствительными ко времени случаями, такими как рекламные акции.

Тем не менее, Optimizely имеет другой тип алгоритма бандитов, доступный пользователям с более высокими планами - Stats Accelerator (теперь известный как опция «Ускорение обучения» внутри Bandits). В этой настройке вместо того, чтобы пытаться динамически распределять трафик по наиболее высокопроизводительному варианту, Optimizely динамически распределяет трафик по вариантам, которые с наибольшей вероятностью достигают статистической значимости быстрее всего. Таким образом, вы сможете учиться быстрее и сохранить воспроизводимость традиционных результатов A / B-тестов.

Стратегия №4: добавьте эмодзи к названиям показателей

На первый взгляд эта идея, наверное, звучит неуместно, даже бессмысленно. Однако ключевой аспект проверки правильности результатов эксперимента заключается в том, чтобы убедиться, что ваша аудитория понимает вопрос. 

Иногда, несмотря на все наши усилия, названия показателей могут сбивать с толку (подождите, эта метрика срабатывает, когда заказ принят или когда пользователь попадает на страницу с благодарностью?), Или в эксперименте так много метрик, что результаты прокручиваются вверх и вниз. страница приводит к тотальной когнитивной перегрузке.

Добавление смайлов к названиям показателей (цели, зеленые галочки, даже большой мешок с деньгами может сработать) может привести к тому, что страницы станут намного более удобными для сканирования. 

Поверьте нам - зачитать результаты будет намного проще.

Стратегия №5: Пересмотрите свой уровень статистической значимости

Результаты считаются окончательными в контексте эксперимента Optimizely, когда они достигли Статистическая значимость. Статистическая значимость - это сложный математический термин, но, по сути, это вероятность того, что ваши наблюдения являются результатом реальной разницы между двумя популяциями, а не просто случайной случайностью. 

Уровни статистической значимости, сообщаемые Optimizely, «всегда действительны» благодаря математической концепции, называемой последовательное тестирование - это на самом деле делает их намного более надежными, чем у других инструментов тестирования, которые подвержены всевозможным проблемам «подглядывания», если вы прочитаете их слишком рано.

Стоит подумать, какой уровень статистической значимости вы считаете важным для своей программы тестирования. Хотя 95% является условностью в научном сообществе, мы тестируем изменения на веб-сайтах, а не вакцины. Другой распространенный выбор в экспериментальном мире: 90%. Но готовы ли вы принять немного больше неопределенности, чтобы быстрее проводить эксперименты и проверять больше идей? Можете ли вы использовать статистическую значимость 85% или даже 80%? Преднамеренное отношение к соотношению риска и вознаграждения может принести экспоненциальные дивиденды с течением времени, поэтому тщательно обдумайте это.

Узнать больше об Optimizely Intelligence Cloud

Эти пять простых принципов и идей будут невероятно полезны при использовании Optimizely. Как и в случае с любым другим инструментом, необходимо убедиться, что у вас есть хорошее понимание всех закулисных настроек, чтобы вы могли убедиться, что используете инструмент эффективно и действенно. Обладая этим пониманием, вы можете получить надежные результаты, которые вам нужны, и тогда, когда они вам понадобятся. 

Как вы думаете?

Этот сайт использует Akismet для уменьшения количества спама. Узнайте, как обрабатываются ваши данные комментариев.