A/B testy, pomiar wzrostu i matryca ICE
Jak i kiedy użyć
Skopiuj tę checklistę do asystenta AI razem z informacją o swoim ruchu, obecnej konwersji i pomyśle na eksperyment. Poproś AI, żeby oceniło, czy masz wystarczający ruch na test A/B, a jeśli nie, zaproponowało testowanie dużych zmian metodą przed i po. Następnie niech AI pomoże wybrać North Star Metric dla Twojej branży, dobierze 5 do 7 metryk do dashboardu oraz oceni listę Twoich pomysłów na wzrost metodą ICE, czyli wpływ, pewność i łatwość, i ułoży je od najwyższego priorytetu.
Checklista
Narzędzia A/B testów
- VWO: do 10 000 użytkowników miesięcznie darmowy, najlepsza darmowa opcja, płatny od około 2000 złotych miesięcznie.
- Zoho PageSense: od około 80 złotych miesięcznie, najtańsza płatna opcja all in one.
- Mida.so: do 50 000 użytkowników darmowy, od około 600 złotych miesięcznie, najlżejszy skrypt 20 KB.
- Crazy Egg: od około 400 złotych miesięcznie, najłatwiejszy dla nietechnicznych.
- Nelio AB Testing: darmowy dla WordPressa.
- Rada polskich ekspertów CRO: przy dochodach poniżej około 100 000 złotych miesięcznie odpuść testy A/B i skup się na ruchu.
Ile ruchu potrzebujesz
- Założenia: 5 procent bazowej konwersji, 20 procent poprawy, 95 procent pewności.
- 100 wizyt dziennie to około 160 dni, nie rób testów A/B, testuj duże zmiany metodą przed i po.
- 500 wizyt dziennie to około 32 dni, wykonalne, testuj duże zmiany.
- 1000 wizyt dziennie to około 16 dni, standardowe testowanie.
- 5000 wizyt dziennie to 3 do 4 dni, szybkie testowanie.
Dashboard growth hackera, 5 do 7 metryk
- Conversion Rate, z GA4.
- CAC, koszt pozyskania klienta, z CRM i platform reklamowych.
- LTV, wartość życiowa klienta, z CRM i billingu.
- Churn rate albo retention rate, z billingu i CRM.
- Revenue growth rate miesiąc do miesiąca, z księgowości.
- Active users, czyli DAU, WAU i MAU, z GA4 albo Mixpanel.
- NPS, Net Promoter Score, z narzędzi ankietowych.
North Star Metric według branży
- E-commerce: liczba zakupów miesięcznie.
- SaaS: MRR albo Weekly Active Users.
- Usługi B2B: liczba kwalifikowanych leadów.
- Content i media: czas konsumpcji.
- Unikasz metryk próżności: łączna liczba wizyt, liczba obserwujących, pobrania aplikacji bez retencji.
Darmowy stack analityczny
- GA4, dane ilościowe: ruch, konwersje, atrybucja, odpowiada na pytanie co.
- Microsoft Clarity, darmowy i nielimitowany: nagrania sesji, heatmapy, mapy scrolla, rage clicks, integracja z GA4 jednym kliknięciem, odpowiada na pytanie dlaczego.
- Google Looker Studio: dashboardy łączące dane z GA4.
- Upgrade za około 200 złotych miesięcznie: Hotjar Plus z ankietami plus Plausible, analityka zgodna z RODO bez bannerów cookie.
10 najczęstszych błędów A/B testów
- Zatrzymywanie testów zbyt wcześnie, zawsze czekaj na 95 procent pewności, bo przy 80 procent wyniki się odwracają.
- Testowanie wielu zmiennych naraz, jedna zmienna na test.
- Brak hipotezy przed testem, najpierw jeśli zmienię X, to Y wzrośnie o Z procent.
- Testowanie stron z niskim ruchem, minimum 500 wizyt dziennie.
- Ignorowanie mobile, ponad 60 procent ruchu w 2024.
- Za krótki test, minimum 2 pełne tygodnie, żeby uwzględnić cykle tygodniowe.
- Testowanie podczas anomalii, jak Black Friday albo viralowy post, wyniki niewiarygodne.
- Kopiowanie testów innych firm bez adaptacji do swojego kontekstu.
- Skupianie się tylko na konwersji, bo wyższy CR może przyciągać gorsze leady.
- W ogóle nietestowanie, bo 61 procent marketerów nie testuje nawet tematów maili.
Matryca ICE, priorytetyzacja eksperymentów
- I, wpływ: jaki efekt na wzrost, jeśli zadziała, w skali 1 do 10.
- C, pewność: jak bardzo wierzę, że zadziała, w skali 1 do 10.
- E, łatwość: jak łatwo to wdrożyć, w skali 1 do 10, gdzie 10 oznacza bardzo łatwo.
- ICE to średnia z trzech ocen i jest priorytetem eksperymentu.
- Zasada: najpierw eksperymenty z najwyższym ICE, a jeśli nie działa po 3 tygodniach, porzucasz.
Najczęstsze pytania
Czym jest matryca ICE we wzroście?
Matryca ICE to prosty sposób priorytetyzacji pomysłów na wzrost. Każdy eksperyment oceniasz w trzech wymiarach w skali od jednego do dziesięciu: Impact, czyli wpływ na wzrost, Confidence, czyli pewność, że zadziała, oraz Ease, czyli łatwość wdrożenia. Średnia z tych ocen daje priorytet, a zaczynasz od pomysłów z najwyższym ICE.
Ile ruchu potrzeba do testu A/B?
To zależy od konwersji i oczekiwanej poprawy, ale praktyczna zasada brzmi: przy około 100 wizytach dziennie test trwałby ponad sto sześćdziesiąt dni, więc nie warto. Od około 500 wizyt dziennie testy A/B stają się wykonalne, a od 1000 standardowe. Przy małym ruchu testuj duże zmiany metodą przed i po.
Jaki dashboard metryk śledzić we wzroście?
Wystarczy pięć do siedmiu metryk: conversion rate, koszt pozyskania klienta, wartość życiowa klienta, churn lub retencja, tempo wzrostu przychodu miesiąc do miesiąca, aktywni użytkownicy oraz NPS. Taki zestaw pokazuje zarówno pozyskanie, jak i utrzymanie, i pozwala szybko zauważyć, gdzie wzrost się zacina.
Czym jest North Star Metric?
North Star Metric to jedna nadrzędna miara wartości, którą Twój produkt dostarcza klientom. W e-commerce to zwykle liczba zakupów, w SaaS przychód cykliczny albo aktywni użytkownicy, a w usługach B2B liczba kwalifikowanych leadów. Kluczowe jest unikanie metryk próżności, takich jak liczba obserwujących czy łączne wizyty bez retencji.
Jaki jest najczęstszy błąd w testach A/B?
Najczęstszym błędem jest zatrzymywanie testu zbyt wcześnie, zanim osiągnie 95 procent pewności, bo przy niższym poziomie wyniki potrafią się odwrócić. Inne typowe błędy to testowanie wielu zmiennych naraz, brak hipotezy, zbyt krótki czas testu oraz prowadzenie testów na stronach z bardzo małym ruchem.
Źródła i odniesienia
Ten zasób jest autorskim opracowaniem praktycznym. Poniższe pozycje pokazują inspiracje i ramy, do których jawnie się odnosimy.