Testy A/B – czym są i czy warto je przeprowadzać?

Dodano: Październik 29, 2014

Trochę teorii na temat testów A/B

Jednym ze sposobów testowania serwisów internetowych jest przeprowadzanie testów A/B. Testy te polegają na równoczesnym utrzymywaniu dwóch wersji tego samego serwisu internetowego i sprawdzenia, która z tych wersji lepiej spełnia założony cel. W przypadku wykorzystania tej metody użytkownicy zazwyczaj nie wiedzą, że ich działania są testowane. Badanie takie wykonuje się na wszystkich lub na części rzeczywistych użytkowników witryny. Dzięki temu wyniki badań są wiarygodne i mogą być istotne statystycznie [1].

Prosty przykład testów A/B

Jak już wcześniej wspomniano testy A/B w klasycznym przypadku polegają na równoczesnym utrzymaniu dwóch wersji tego samego serwisu internetowego. Przykładowo serwis jest dostępny pod adresami: http://sklep.pl/ oraz http://sklep.pl/wersja1. Użytkownik odwiedzający witrynę otrzymuje z prawdopodobieństwem 0.5 [2] jedną z wersji. Dla każdej z nich zliczane są konwersje. Wersja, która wygeneruje wyższy współczynnik konwersji (np. po określonym czasie lub jeśli osiągnięty wynik jest statystycznie istotny) jest oznaczona jako lepsza i zostaje ustawiona jako główna wersja serwisu internetowego. W jednym z kolejnych artykułów opiszemy mechanizm przeprowadzania testów A/B wykorzystany w eksperymentach Google Analytics.

Czy warto przeprowadzać testy A/B?

Przechodzimy do najważniejszego punktu naszego artykułu – czy warto przeprowadzać testy A/B? Nasze doświadczenia pokazały nam, że jest to jedna z najbardziej efektywnych metod zwiększania zysków ze sklepów internetowych oraz zwiększania skuteczności innych stron (np. landing page). Wzrost zysków można osiągnąć stosunkowo małym kosztem, w czasie zależnym od aktualnej liczby odwiedzin w witrynie oraz od aktualnej liczby konwersji. Poniżej przedstawiamy rzeczywiste wyniki testów w sklepach internetowych (w sklepie sklep.puregreen.pl – wzrost liczby konwersji o 41% oraz w sklepie www.strony-szablony.pl – wzrost liczby konwersji o 69%).


 

 Zrzut ekranu testu A/B w sklepie internetowym puregreen.

test a/b w sklepie internetowym


  Wyniki testu A/B w sklepie strony-szablony.pl

Testy A/B


Podsumowanie wyników eksperymentu w sklepie internetowym puregreen.

Wersja oryginalna

Wersja 1

Wersja 2

Wersja 3

Wersja 4

Wersja 5

Liczba odwiedzin

1020

5121

320

192

138

84

Liczba transakcji

24

170

10

7

2

1

Porównanie do wersji oryginalnej

0%

41%

33%

55%

-39%

-50%

Współczynnik konwersji

2,35%

3,32%

3,12%

3,65%

1,45%

1,19%

Prawdopodobieństwo uzyskania lepszego wyniku niż wersja oryginalna

0%

92,5%

40,4%

44,5%

35,3%

20%

Średnia wartość transakcji

347,94 zł

563,96 zł

453,06 zł

484,97 zł

684,00 zł

42,00 zł

Wartość jednych odwiedzin

8,19 zł

18,72 zł

14,16 zł

17,68 zł

9,91 zł

0,50 zł

Wersja wyłączona z eksperymentu w trakcie trwania

nie

nie

tak

tak

tak

tak

współczynnik konwersji w momencie wyłączenia wersji/zakończenia eksperymentu

-/2,35%

-/3,32%

2,52%/3,12%

2,11%/3,65%

1,49%/1,45%

0%/1,19%


 Jak widać na powyższych zrzutach ekranu oraz w tabeli zdecydowanie warto przeprowadzać testy A/B.


Zapytaj nas o testy A/B – możemy je dla Ciebie przeprowadzić




  1. Sobczyk Mieczysław, Statystyka Aspekty praktyczne i teoretyczne, UMCS, Lublin, 2006
  2. Prawdopodobieństwo 0.5 to bardzo uproszczony przypadek – obecne narzędzia do przeprowadzania testów A/B potrafią dynamicznie zmieniać prawdopodobieństwo wyświetlenia danej wersji strony w zależności od osiągniętego przez nią wyniku.