Введение

Разрабатывая игру или мобильное приложение, не всегда можно однозначно сказать, по какому пути лучше продвигать проект, какую фичу имплементировать или как увеличить показатели после выхода.

Разработка проектов ведется, опираясь на исследования рынка и опыт команды. Но это не всегда достаточно. Чтобы проект развивался и приносил прибыль, нужно постоянно адаптироваться под изменяющийся рынок. И ошибки стоят командам разработчиков очень дорого.

Для того, чтобы минимизировать риски зачастую применяют метод, называемый A/B тестированием. Этот метод позволяет более точно спрогнозировать поведение пользователей и определять их реакцию на различные нововведения - от элементов дизайна до моделей монетизации.

A/B тестирование называется таковым, потому что помогает выбрать между двумя вариантов - А и В. Выбор при этом производится основываясь не на предположениях, а на конкретной аналитике поведения пользователей.

Описание

Для теста вы можете выбрать любой элемент - иконку, базовую механику, цену на бандл. Любой значимый элемент может стать объектом тестирования.

Суть метода заключается в тестировании продукта на нескольких уникальных, но идентичных группах пользователей. При этом продукт для каждой из групп отличается исключительно одной переменной - A или B.

Есть варианты a/b/c теста - и даже тесты с большими переменными. Их называют многомерными тестами. Принципиально они не отличаются от a/b теста - также отбирается группа и используется лишь одна переменная. Многомерные тесты дают более размытые результаты, но позволяют сузить круг переменных, постепенно сводя все к a/b тесту.

Как правило, а/b тестирование присходит одновременно. Однако, иногда приходится проводить продолжительное a/b тестирование, то есть, последовательное тестирование вариантов - сперва одного, потом другого. В целом, одновременное a/b тестирование предпочтительнее растянутого по времени, потому что избегает цикличности и внешних непредсказуемых и неуправляемых факторов.

Например, сравнивая показатели за рождество и начало января, вы получите носопоставимые результаты монетизации из-за пика продаж, которы приходятся на рождественские праздники. Внешние факторы сильно повредят чистоте эксперимента.

Продолжительное по времени a/b тестирование может стать рабочим вариантом в том случае, если это единственный способ получить достаточно людей в обе группы. Когда размер групп ограничен, единовременное a/b тестирование может быть менее действенным из-за статистической погрешности.

Группа

Ключ к успешному a/b тестированию - минимизировать погрешности и информационный шум. Вы должны быть полностью уверены, что различия в поведении и выборе пользователей неслучайны и напрямую зависят от вариантов А или В.

Желательно как можно сильнее сузить статистическую погрешность. Чем больше людей будет в каждой из групп, тем ниже статистическая погрешность. Для того, чтобы проводить успешные a/b тестирования, вам понадобятся по-настоящему большие группы.

Группа тестируемых пользователей должна быть четко определена. Например, если вы тестируете конверсию подключения к соц-сетям в главном меню при первом запуске, вы не должны учитывать всех пользователей, которые подключились к соц-сети в последующих запусках. Звучит просто, но каждый непродуманный элемент грозит испортить чистоту тестирования и отбросить вас на недели назад.

Также при формировании групп важно учитывать предыдущие действия пользователя в приложении. Например, для тестирования нового дизайна магазина важно отделить платящих пользователей от неплатящих. Потому что спрос у этих групп совершенно разный.

Проблема сужения аудитории состоит в том, что это уменьшает количество тестируемых в каждой группе. Что, соответственно, увеличивает статистическую погрешность.

Объем выборки для теста не константа. Он зависит от разницы между показателями каждого из вариантов. Когда разница между вариантами будет очевидна, эксперимент можно считать удавшимся.

Формирование запроса

Не стоит фокусироваться на методе, как на самоцели. Когда вы проводите a/b тест цен в магазине, вы не просто хотите посмотреть, что будет лучше продаваться, вы хотите увеличить прибыль.

Значит вам нужно более основательно подходить к тому, чего вы хотите извлечь из тестирования. Добавить алерт авторизации в соц-сетях в туториале может не только повысить конверсию авторизировавшися пользователей, но и снизить процент пользователей, прошедших туториал.

С другой стороны, стоит ли делать a/b тест приложения с туториалом и без? Стоит ли проверять то, в чем вы итак не сомневаетесь? A/B тестирование - это инструмент, и то, как вы им воспользуетесь, определит его эффективность для вашего проекта.

Всегда стоит выбирать только из жизнеспособных вариантов. Выбирать из двух плохих вариантов - зачем? Сфокусируйтесь на действительно нужных элементах и обязательно определите задачу, которую вы пытаетесь решить при помощи теста.

Сформировав цель, вам будет проще понять, каких результатов вы ожидаете и к каким действиям это приведет. Самый простой и дешевый вариант - проработать две сбалансированные жизнеспособные теории.

О том, как проводятся и обрабатываются a/b тестирования, читайте во второй части.