ŁADOWANIE

7 poważnych błędów podczas przeprowadzania testów A/B

przez Krzysiek Nowakowski 12 września, 2020
7 poważnych błedów przeprowadzania testów a/b

Na pierwszy rzut oka testy A/B nie wymagają wiele zachodu.

Wydaje się, że wystarczy mieć odpowiednie narzędzie i dwie wersje strony przeznaczone do testów. Pozostaje zebrać trochę ruchu, rozdzielić go pomiędzy nie pół na pół, a kiedy widać, która ze stron ma większą konwersję, można wyłonić zwycięzcę…

Nic bardziej mylnego. Testy A/B to tylko jedna z wielu części złożonego procesu optymalizacji konwersji. To skuteczny i sprawdzony sposób na weryfikację pomysłów, ale skuteczny tylko wtedy, jeśli podejdziesz do niego w naukowy i metodyczny sposób. 

Nie zrażaj się naukowością. Optymalizacja konwersji to długotrwały proces, w którym dogłębnie poznajesz swoich użytkowników oraz wypracowujesz taką komunikację swojej oferty, która przynosi prawdziwe zyski.

Niestety nawet niektórzy eksperci popełniają naprawdę niewybaczalne błędy. Efektem źle przeprowadzonych testów A/B są błędne decyzje biznesowe, utrata cennego ruchu, a nierzadko nawet straty dla biznesu. Żebyś uniknął naprawdę poważnej wtopy i dołączył do 1% największych ekspertów od testów A/B, zebrałem najczęściej powielane błędy oraz wyjaśniłem, jak ich unikać.

Całe szczęście, że części tym błędów da się całkiem zapobiec, negatywne skutków drugiej części da się zneutralizować.

Niecierpliwość

Spotkałem się kiedyś z niezwykle irytującym zachowaniem. Pracowałem wówczas w małej agencji marketingowej i testy A/B naszych stron były na porządku dziennym. Mimo tego regularnym zachowaniem było wyłączanie testów od razu w momencie, kiedy jedna z wersji testowanej strony zyskiwała przewagę. Zadowolony pracownik kierując się testem, który trwał zaledwie kilka dni nanosił poprawki na Landing Page. Co gorsza – nanosił je czasem w trakcie włączonego testu…

Do największego zdziwienia dochodziło w momencie, kiedy pseudo zwycięski Landing Page, wcale nie generował większej sprzedaży ani większej liczby leadów.

Stało się tak z kilku względów. Tak krótki test nie uwzględniał nawet całego tygodnia, podczas gdy zachowanie klientów może różnić się w zależności od dnia. Co więcej, nie zwrócono nawet uwagi na tak podstawowy wskaźnik, jakim jest istotność statystyczna. Wskaźnik ten mówi, z jakim prawdopodobieństwem uzyskany w teście wynik może zostać powtórzony w rzeczywistej populacji.

Aby uniknąć takiej wpadki:

a) Przeprowadzaj testy trwające od dwóch, do czterech tygodni. Tylko wtedy uda Ci się złapać klientów z całego cyklu biznesowego. Będziesz miał pewność, że wyników testu nie zaburzyły odchylenia, które mają miejsce np. podczas weekendu.

b) Zwracaj uwagę na wskaźniki statystyczne. Podstawowym jest istotność statystyczna, która powinna osiągnąć wynik 95% lub 98%. Zawsze istnieje ryzyko, że wynik testu nie zostanie powtórzony w populacji, lecz jeśli różnica w konwersji jest duża, a Ty podszedłeś metodycznie do testu, powinieneś wyeliminować te zagrożenie.

c) Oszacuj wielkość wymaganego ruchu jeszcze przed uruchomieniem testu. Wielkość próby przyjęta do testu to kolejny wskaźnik, który zadecyduje, czy test można wyłączyć. Do oszacowania wymaganej wielkości próby możesz użyć jednego z kalkulatorów wielkości próby dostępnych chociażby tutaj http://www.evanmiller.org/ab-testing/sample-size.html lub tutaj https://vwo.com/ab-split-test-duration/

Zabawa w zgadywankę

W optymalizacji konwersji przeważają dwa podejścia.

Jedno chaotyczne, opierające się na testowaniu przypadkowych pomysłów i zgadywance, co należy poprawić. Opiera się na osobistych uprzedzeniach osób odpowiedzialnych za projekt. Nie uwzględnia najważniejszego czynnika, czyli preferencji prawdziwych klientów.

Drugie metodyczne, które opiera się na szczegółowej analizie zachowań klientów, ich opinii, motywacji oraz frustracji. 

Pierwsze może od czasu do czasu przynieść spektakularne zwycięstwa, ale będzie to dziełem przypadku. Tylko drugie sprawi, że z każdego testu wyciągniesz realne wnioski i przełożysz je na sukcesy. Aby nigdy nie przeprowadzać testu, który jest zgadywanką, a wynik mrzonką:

  • Poprzedzaj testy analizą. Przy użyciu narzędzi analitycznych znajdź strony, które funkcjonują gorzej niż reszta. Napisałem już jakiś czas temu tekst o tym, jak skutecznie wykorzystywać click mapy.
  • Wyciągaj wnioski z analizy i postaw odpowiednią hipotezę do każdego testu. Testuj nie layout, ale lecz elementy wpływające na zachowanie użytkowników.
  • Analizuj dogłębnie wyniki testu – pod kątem statystycznym, ale też segmentacji użytkowników. O analizie wyników testów A/B również pisałem – możesz sprawdzić to tutaj.

Nie uwzględnianie czynników zewnętrznych

Istnieje wiele zewnętrznych zagrożeń, które mogą wpłynąć na wyniki testu. Część z nich jest dosyć oczywista: użytkownicy inaczej dokonują zakupów w okresie świątecznych, dniach wolnych od pracy itp.

Problem z resztą polega na tym, że nie wszystkie da się tak łatwo określić i odkrycie nich może wymagać chwili analizy. Do takich czynników zewnętrznych należeć może zmiana na rynku, ale też kara od Google, która wpływa na Twoją pozycję w wyszukiwarkach.  

Aby zabezpieczyć się przed czynnikami zewnętrznymi, nie testuj w okresie świąt, ferii. Zawsze mniej pod kontrolą wskaźniki dotyczące ruchu z wyszukiwarek. Jeśli odkryjesz, że coś mogło zaburzyć test już podczas jego trwania, zatrzymaj go i uruchom ponownie, kiedy tylko sytuacja się uspokoi.

Testowanie tej samej zmiennej w różnym czasie

Mam tu na myśli sytuację, kiedy testowi poddajesz jeden konkretny element – załóżmy, że testujemy położenie opinii klientów na temat produktu na stronie. Uruchomiłeś jeden test, który wyłonił zwycięzcę, lecz po jakimś czasie postanowiłeś wrócić z nowymi pomysłami i ponownie poddać ten element testom. Gdybym był w pobliżu, złapałbym Cię za rękę i zapytał „Ale po co?”.

Takie podejście jest zdecydowanie złe z kilku względów. Przede wszystkim ruch na Twojej stronie zmienia się dzień po dniu, tydzień po tygodniu – użytkownicy, których poddałeś testowi za pierwszym razem, nie są tymi samymi, na których testujesz ponowne zmiany. Różnią się zwyczajami, upodobaniami, a także technologią. 

Jeśli już musisz testować kilka wersji tej samej zmiennej, zawsze rób to podczas jednego testu. Jeśli masz odpowiednio duży ruch, skorzystaj z możliwości, jakie dają testy wieloczynnikowe – pamiętaj, że im więcej zmiennych w trakcie testu, tym większe prawdopodobieństwo fałszywie pozytywnego wyniku!

Przeprowadzanie dużej liczby testów w tym samym czasie

Jest to kolejny błąd dotyczący samej strategii przeprowadzania testów A/B. Niestety często dotyka firm, które naprawdę polegają na optymalizacji konwersji.

Jeśli przeprowadzasz duże liczby testów A/B w tym samym czasie, istotą jest przeprowadzać na stronach, na których ruch się nie pokrywa. Przeprowadzanie testów na stronach procesu zakupowego oraz stronach z danymi kontaktowymi może nie jest specjalnie ryzykowne, ale już testowanie strony produktu oraz koszyka w tym samym czasie jest stanowczo złym pomysłem. Znacząco utrudnia to analizę wyniku testu przez zwiększanie liczby zmiennych – nie będziesz w stanie odróżnić, które zmiany przyczyniły się do zmiany w konwersji. Dlatego najpierw identyfikuj przepływ użytkowników – możesz do tego użyć gotowego raportu Google Analytics.

Jeśli już przeprowadzasz tyle testów, że ich ruch się pokrywa – przeanalizuj dokładnie wyniki i stopień wzajemnego pokrycia testów.

Będziesz potrzebował do tego segmentacji wyników testu A/B. Musisz sprawdzić dla każdego testu A/B jaki przeprowadziłeś, jak dużo użytkowników poddanych jednemu testowi, zostało poddanych także drugiemu. Dla każdej z tych podgrup powinieneś wyliczyć istotność statystyczną – być może w ten sposób uda się nawet zapobiec

Pokładanie wiary w case studies

Kiedy zacząłem zajmować się optymalizacją konwersji w firmie, otrzymałem od jednego z prezesów obszerny podręcznik z różnymi Case studies z testów A/B. Opisane tam testy dotyczyły szeregu zmian i olbrzymich zmian w konwersji w stylu:

  • Zmiana koloru Call to action zwiększyła konwersję o 345%!
  • Zmieniliśmy headline a nasze zyski wzrosły o 120%!
  • Itd. itp.

Czytając te case studies, traciłem wiarę w przeprowadzanie testów A/B. Właściwie nawet nie przeczytałem go do końca. Wszystkie nagłówki były krzykliwe i alarmowały o gigantycznych wzrostach przez wprowadzanie naprawdę skromnych zmian. Mnie pozostawiały z pytaniem „No dobrze, ale skąd mam wiedzieć, co testować, aby osiągnąć takie wyniki?”

Teraz dobrze wiem, że większość case studies w internecie to bzdura. Większość z nich nie podaje, jaki poziom istotności statystycznej osiągnięto oraz jak duża była próba wybrana do testu. Bez tych danych możemy przyjąć, że case studies są absolutnie zmyślone.

Nie ma oczywiście nic złego w inspirowaniu się niektórymi przypadkami. Pamiętaj jednak, że przenoszenie ich żywcem do swojego biznesu bez fazy analizy i konkretnej hipotezy absolutnie nie przyniesie Ci żadnego pożytku.

Pomijanie analizy wyniku testu

Tego punktu być może już się domyśliłeś – wspominałem o analizie wyników testu kilkukrotnie podczas

Faza analizy powinna mieć miejsce nie tylko przed, lecz również po przeprowadzonym teście i wyłonieniu zwycięzcy. Przynosi to korzyści niezależnie, czy test zakończył się wygraną nowej wersji strony, czy nie. 

Po teście dokonaj analizy segmentów. Nawet jeśli test nie poszedł po Twojej myśli, mogą istnieć segmenty, w których konwersja wypadła znacznie lepiej niż w pozostałych. Może też dojść do sytuacji odwrotnej – mimo wzrostu konwersji na nowej wersji strony, jakiś segment sprawuje się gorzej niż pozostałe.

Szczegółowo o analizie wyników testu A/B pisałem już tutaj.

Jeśli spotkałeś się z innymi błędami podczas przeprowadzania testów A/B (to bez wątpienia niestety nie są jedyne!), napisz proszę komentarz i daj znać, czy udało się je w jakiś sposób rozwiązać.

Social Shares

Powiązane artykuły

Zostaw komentarz

Twój adres email nie będzie opublikowany. Wymagane pola oznaczone się znakiem *

Witryna wykorzystuje Akismet, aby ograniczyć spam. Dowiedz się więcej jak przetwarzane są dane komentarzy.