A/B-тести для малого бізнесу — що можна перевірити без великих вибірок і як не обдурити себе
Наталія Іванченко · · 7 хв читання
A/B-тест у малому бізнесі має сенс, коли різниця між варіантами велика і даних вистачає, щоб її побачити: для конверсії близько 2 % потрібні тисячі показів на варіант, для 20 % — сотні. Тому тестувати варто те, що може змінити результат удвічі — пропозицію, перший екран, креатив, — а не колір кнопки. І перш ніж вірити різниці, перевірити її калькулятором значущості: при малих вибірках «переможець» на 15 % часто виявляється випадковістю.
Навіщо тестувати, якщо «і так видно»
Бо не видно. Два креативи, один дав 12 заявок, інший 8. Здається, перший кращий. Але якщо кожен показали 2 000 людей, різниця між 0,6 % і 0,4 % цілком може бути випадковістю — наступного тижня буде навпаки. Рішення, ухвалені на таких «перемогах», — половина маркетингових помилок малого бізнесу.
A/B-тест — це не «показали два варіанти і подивились». Це спосіб відрізнити справжню різницю від шуму.
Що таке A/B-тест і що ним не є
A/B-тест: два варіанти показуються одночасно, випадково розподіленій аудиторії, з однією різницею між ними, достатньо довго, щоб набрати потрібну кількість спостережень, і різниця перевіряється на значущість.
Не A/B-тест:
- два пости в різні дні (аудиторія й контекст різні);
- два варіанти, які відрізняються трьома речами одразу (незрозуміло, що спрацювало);
- тест, зупинений «коли побачили переможця» (найпоширеніша помилка — про неї нижче);
- порівняння цього місяця з минулим (сезон, реклама, десятки інших змін).
Що тестувати в малому бізнесі
Правило: тестувати те, що може дати велику різницю. При малих вибірках дрібні ефекти не видно в принципі, тому тест кольору кнопки — витрата часу.
| Що тестувати | Очікувана різниця | Де тестувати |
|---|---|---|
| Пропозицію (що і за скільки) | велика | реклама, сторіс, посадкова |
| Перший екран / перше речення | велика | сайт, пости, креативи |
| Аудиторію реклами | велика | рекламний кабінет |
| Формат креативу (відео / статика) | середня–велика | рекламний кабінет |
| Куди вести (директ / сайт / форма) | середня | реклама |
| Заклик до дії (формулювання) | середня | усюди |
| Час публікації | мала | не варто |
| Колір, шрифт, розташування кнопки | мала | не варто при малих обсягах |
Скільки потрібно даних
Це головне питання, і в нього є відповідь. Розмір вибірки залежить від трьох речей:
- Базова конверсія — яка вона зараз (наприклад, 2 % кліків на рекламу стають заявками).
- Мінімальна різниця, яку хочете помітити — наприклад, зростання з 2 % до 2,5 % (це відносне зростання на 25 %).
- Впевненість — стандарт 95 % (тобто 1 шанс із 20 помилитись).
Орієнтовна таблиця (кількість показів на кожен варіант, при 95 % впевненості і 80 % потужності — стандартних параметрах):
| Базова конверсія | Хочемо помітити зростання до | Показів на варіант, приблизно |
|---|---|---|
| 1 % | 1,5 % | ~ 7 700 |
| 2 % | 3 % | ~ 3 800 |
| 5 % | 7,5 % | ~ 1 450 |
| 10 % | 15 % | ~ 700 |
| 20 % | 30 % | ~ 300 |
| 40 % | 50 % | ~ 390 |
Цифри округлені; точні дає калькулятор Евана Міллера (у джерелах). Що з таблиці важливо: якщо ваша конверсія 2 % і ви показуєте рекламу 500 людям на варіант, ви не побачите нічого, крім шуму, — навіть якщо один варіант справді кращий на чверть.
Як зрозуміти, чи різниця справжня
Після того як набрали потрібну кількість, різницю перевіряють на статистичну значущість. Без формул: калькулятор (той самий Міллер або будь-який «A/B test significance calculator») бере кількість показів і конверсій обох варіантів і каже, чи можна довіряти різниці.
Приклад. Варіант А: 3 000 показів, 60 заявок (2,0 %). Варіант Б: 3 000 показів, 84 заявки (2,8 %). Калькулятор показує значущість на рівні 95 % — різницю можна вважати справжньою. Якби показів було по 500 і заявок 10 та 14 — ті самі відсотки, але значущості немає: така різниця при 500 показах виникає випадково надто часто.
Правило для тих, хто не хоче рахувати: при малих вибірках вірте тільки різницям удвічі й більше. Різниця на 20 % при сотнях показів — майже завжди шум.
Сім помилок, які роблять тест безглуздим
1. Підглядання і зупинка на «переможці»
Найпоширеніша. Тест запущено на 3 000 показів, на 800 варіант Б випереджає на 40 % — «усе зрозуміло, зупиняємо». Проблема: на малих числах лідер міняється щодня, і якщо зупиняти, коли хтось вирвався, ви майже гарантовано отримаєте хибний результат. Розмір вибірки визначається до старту, тест іде до нього.
2. Кілька змін в одному варіанті
Змінили заголовок, картинку і ціну. Варіант Б виграв. Що спрацювало? Невідомо, і наступного разу ви скопіюєте не те.
3. Різні умови для варіантів
Варіант А показували в будні, Б — на вихідних. Або А — в ліфті, Б — у стрічці. Рекламні кабінети вміють ділити аудиторію випадково — використовуйте вбудований A/B-тест, а не два окремі оголошення.
4. Тест на різних метриках
А оцінюють за кліками, Б — за заявками. Одна метрика, визначена до старту, і бажано найближча до грошей.
5. Ігнорування сезону й тривалості
Тест на два дні ловить ефект дня тижня. Мінімум — тиждень, краще два, щоб охопити всі дні.
6. Тест без гіпотези
«Спробуємо синій замість зеленого» — не гіпотеза. «Люди не розуміють, що ми робимо, тому перше речення з описом послуги замість назви бренду підвищить кліки» — гіпотеза: з неї зрозуміло, що і чому міняємо, і що дізнаємось у разі провалу.
7. Один виграш — назавжди
Варіант виграв у березні. У жовтні аудиторія і контекст інші. Значущі результати варто перевіряти повторно раз на пів року, особливо у рекламі.
Що робити, якщо даних об’єктивно мало
Більшість малого бізнесу тут. Варіанти:
Тестувати велике. Пропозиція «перша послуга за 1 грн» проти «знижка 20 %» може дати різницю в 2–3 рази, і її видно навіть на сотнях показів.
Послідовні тести з повторенням. Тиждень А, тиждень Б, тиждень А, тиждень Б. Якщо А виграє обидва рази — це слабкий, але доказ. Один раз — ні.
Тестувати там, де обсяг більший. На сайті 300 відвідувачів на місяць, а реклама показує креатив 20 тисячам. Тестуйте креативи й аудиторії в рекламі, а на сайті приймайте рішення за здоровим глуздом і дослідженнями (як люди читають на екрані).
Чесно називати спостереженням. «Ми спробували два варіанти, другий здався кращим, перевіримо ще раз» — нормальне рішення. Ненормальне — називати це доведеним.
Як оформити тест: шаблон
Одна таблиця, один рядок на тест:
- Гіпотеза (що і чому)
- Що міняємо (одна річ)
- Метрика
- Потрібна вибірка на варіант (з калькулятора)
- Дата старту і планова дата кінця
- Результат: А, Б, значущість
- Рішення і дата повторної перевірки
Через рік ця таблиця — найцінніший документ у маркетингу: список того, що справді працює у вашій ніші, а не в чужих кейсах.
Український контекст
Обсяги трафіку в українському малому бізнесі невеликі, тому строгі A/B-тести доступні переважно в рекламних кабінетах, де покази набираються швидко. На сайтах і в органіці — послідовні тести і великі зміни. Друге: рекламні аукціони зараз волатильні, тому тести довше двох тижнів ризикують зловити зміну контексту, а коротше тижня — день тижня. Два тижні — робочий компроміс.
Що робити завтра
- Виписати три речі, які можуть змінити результат удвічі: пропозиція, перший екран, аудиторія.
- Для кожної — сформулювати гіпотезу за шаблоном.
- Порахувати вибірку в калькуляторі. Якщо недосяжна — перейти до послідовного тесту або обрати більшу зміну.
- Запустити один тест на два тижні. Не дивитись на проміжні результати.
- Перевірити значущість, записати рішення в таблицю.
Висновок
A/B-тест — це не «показали два варіанти», а спосіб не обдурити себе. У малому бізнесі він працює, коли тестують велике, набирають розраховану вибірку і не зупиняються на «переможці». Усе інше — спостереження, які теж корисні, якщо їх так і називати.
Джерела
Питання й відповіді
- Скільки потрібно даних для A/B-тесту?
- Залежить від базової конверсії і того, яку різницю хочете помітити. Орієнтир: щоб побачити зростання конверсії з 2 % до 3 %, потрібно приблизно по 3 800 показів на кожен варіант. З 20 % до 30 % — приблизно по 300. Точну кількість дає калькулятор розміру вибірки — посилання в джерелах.
- Що робити, якщо трафіку замало для будь-якого тесту?
- Тестувати те, що дає велику різницю (пропозицію, аудиторію, формат), послідовно замість паралельно (тиждень А, тиждень Б, повторити), і приймати, що це не строгий експеримент, а спостереження. Або тестувати в рекламному кабінеті, де покази набираються швидше, ніж на сайті.
- Чи можна тестувати в Instagram без реклами?
- Строго — ні: алгоритм показує пости різній аудиторії в різний час, і порівняння двох постів нечесне. Але можна порівнювати серії — десять постів одного формату проти десяти іншого за місяць. Це не A/B-тест, а порівняння форматів, і воно теж корисне.
Де ще про це йдеться
- Конверсія воронки — етапи, формули і типові місця втрат у шести нішах · Аналітика і цифри в маркетингу
- Як працює алгоритм Instagram — за словами самого Instagram, і чого він не каже · Ринок і платформи — що змінюється і чому
- iOS 14.5 — як одне оновлення Apple змінило таргетовану рекламу і чому вона вже не буде такою, як у 2020-му · Ринок і платформи — що змінюється і чому
- Атрибуція офлайн-продажів — як зв’язати рекламу з касою в магазині чи закладі · Аналітика і цифри в маркетингу