Page tree
Skip to end of metadata
Go to start of metadata

Цель A/B[/C] тестирования заключается в том, чтобы оценить эффективность аналогичных сервисов и выявить лучший.

Цель

Перед проведением A/B-теста необходимо определиться с критерием оценки:

  • по сумме оформленных заказов;
  • по сумме оплаченных заказов;
  • по конечной прибыли для магазина (оплаченные заказы и маржинальность товаров).

Аудитория

Аудитория делится равномерно между всеми участниками теста. Идеально, если аудитория делится равномерно не просто случайным образом, а:

  • равномерно по источникам трафика;
  • равномерно по времени суток;
  • равномерно по типу устройства доступа (смартфоны, планшеты, полноценные компьютеры и ноутбуки).

В аудиторию не должны попадать:

  • переходы сотрудников компании;
  • роботы и поисковые системы.

Группа пользователя не должна зависеть от каких-то других математических операций типа остатка от деления 16-ричного представления его e-mail и чего-то еще, в чем может отсутствовать элемент случайности.

Группа пользователя не может меняться со временем: если пользователю назначили группу А и через две недели он вернулся на сайт, он должен быть все еще в группе А. 

Очистка результатов 

Из конечных результатов необходимо убрать:

  • заказы, оформленные менеджерами или тестовые заказы, оформленные сотрудниками компании;
  • заказы со слишком низкой стоимостью (например, заказы с ценой 10 рублей при среднем чеке в 10,000 рублей, т.к. это скорее всего ошибочные заказы или тесты);
  • заказы со слишком высокой стоимостью (например, заказы на сумму от 400,000 рублей при среднем чеке в 20,000 рублей);
  • заказы от постоянных клиентов, делающих более двух заказов в месяц регулярно, т.к. эти заказы не заслуга ни одной рекомендательной системы.

 

  • No labels