Советы по A / B-тестированию в экспериментах Google Play

Гугл игры

Для разработчиков приложений Android: Google Play эксперименты может предоставить ценную информацию и помочь увеличить количество установок. Проведение хорошо продуманного и хорошо спланированного A / B-теста может иметь значение, когда пользователь устанавливает ваше приложение или приложение конкурента. Однако есть много случаев, когда тесты выполнялись неправильно. Эти ошибки могут работать против приложения и снижать его производительность.

Вот руководство по использованию Google Play эксперименты для A / B тестирования.

Настройка эксперимента в Google Play

Вы можете получить доступ к консоли Experiment из панели управления приложения консоли разработчика Google Play. Перейти к Наличие в магазине в левой части экрана и выберите Эксперименты со списком магазинов. Оттуда вы можете выбрать «Новый эксперимент» и настроить тест.

Вы можете проводить два типа экспериментов: Эксперимент с графикой по умолчанию и Локализованный эксперимент. Default Graphics Experiment будет запускать тесты только в регионах с языком, выбранным вами по умолчанию. С другой стороны, Localized Experiment запустит ваш тест в любом регионе, в котором доступно ваше приложение.

Первый позволяет тестировать творческие элементы, такие как значки и снимки экрана, а второй также позволяет тестировать короткие и длинные описания.

Выбирая варианты тестирования, имейте в виду, что чем больше вариантов вы тестируете, тем больше времени потребуется для получения реальных результатов. Слишком большое количество вариантов может привести к тому, что тестам потребуется больше времени и трафика для установления доверительного интервала, который определяет возможное влияние конверсии.

Понимание результатов эксперимента

По мере выполнения тестов вы можете измерять результаты на основе данных об установщиках, впервые установивших или оставшихся после установки (один день). Установщики, впервые установившие приложение, - это общее количество конверсий, привязанных к варианту, при этом оставшиеся установщики - это пользователи, которые сохранили приложение после первого дня.

Консоль также предоставляет информацию о Current (пользователи, у которых установлено приложение) и Scaled (сколько установок вы бы гипотетически получили, если бы вариант получил 100% трафика в течение периода тестирования).

Эксперименты в Google Play и A / B-тестирование

Доверительный интервал 90% создается после того, как тест проработал достаточно долго, чтобы получить практическую информацию. Он показывает красную / зеленую полосу, которая показывает, как преобразование теоретически изменилось бы, если бы вариант был развернут вживую. Если полоса зеленого цвета, это положительный сдвиг, красный - если отрицательный, и / или оба цвета означают, что он может качаться в любом направлении.

Рекомендации, которые следует учитывать при A / B-тестировании в Google Play

Когда вы проводите свой A / B-тест, вам нужно подождать, пока установится доверительный интервал, прежде чем делать какие-либо выводы. Количество установок для каждого варианта может меняться в течение всего процесса тестирования, поэтому без выполнения теста достаточно долго, чтобы установить уровень уверенности, варианты могут работать по-разному при применении в реальном времени.

Если трафика недостаточно для установления доверительного интервала, вы можете еженедельно сравнивать тенденции конверсии, чтобы увидеть, есть ли какие-либо закономерности.

Вы также захотите отслеживать влияние после развертывания. Даже если в доверительном интервале указано, что вариант теста работал бы лучше, его фактическая производительность все равно может отличаться, особенно если был интервал красный / зеленый.

После развертывания тестового варианта следите за впечатлениями и смотрите, как они повлияют. Истинное воздействие может отличаться от прогнозируемого.

После того, как вы определили, какие варианты работают лучше всего, вы захотите повторить и обновить. Частично цель A / B-тестирования - найти новые способы улучшения. Узнав, что работает, вы можете создавать новые варианты с учетом результатов.

Эксперименты Google Play и результаты A / B-тестирования

Например, при работе с AVIS Gummicube прошел несколько раундов A / B-тестирования. Это помогло определить, какие креативные элементы и обмен сообщениями больше всего привлекали пользователей. Такой подход привел к увеличению конверсии на 28% только по результатам тестирования функциональной графики.

Итерация важна для роста вашего приложения. Это помогает вам постоянно увеличивать количество конверсий по мере роста ваших усилий.

Заключение

A / B-тестирование может быть отличным способом улучшить ваше приложение и ваше общее Оптимизация магазина приложений. При настройке теста убедитесь, что вы ограничили количество вариантов, которые вы тестируете одновременно, чтобы ускорить получение результатов.

Во время теста отслеживайте, как это повлияет на ваши установки и что отображается в доверительном интервале. Чем больше пользователей увидят ваше приложение, тем больше у вас шансов установить устойчивую тенденцию, подтверждающую результаты.

Наконец, вы захотите постоянно повторять. Каждая итерация может помочь вам узнать, что лучше всего привлекает пользователей, чтобы вы могли лучше понять, как оптимизировать приложение и масштабировать его. Применяя методичный подход к A / B-тестированию, разработчик может работать над дальнейшим развитием своего приложения.

Как вы думаете?

Этот сайт использует Akismet для уменьшения количества спама. Узнайте, как обрабатываются ваши данные комментариев.