O badaniu

Zastosowano trzy metody:

  • Obserwacja użytkowników w czasie zamawiania produktu w 5 sklepach internetowych – 27 osób badanych
  • Eyetracking zrzutów ekranu kluczowych podstron (katalog, strona produktu i koszyk) 49 serwisów e-commerce – 30 osób w sumie, 15 osób na każdy ekran
  • Benchmarking 59 serwisów e-commerce pod kątem lokalizacji sekcji cross-selling, koszyka, etykiet na przyciskach itp.

Niewątpliwie wielkim plusem badania jest różnorodność  zastosowanych metod badawczych oraz ilość przebadanych użytkowników. Obserwacja 27 osób jest solidnym materiałem do zaobserwowania powtarzających się schematów zachowań oraz zdobycia wielu ciekawych insightów. Połączenie jej z eyetrackingiem to olbrzymi materiał do data miningu i poszukiwania odpowiedzi na ciekawe pytania badawcze. Oczywiste jest jednak, że w jednym raporcie nie da się odpowiedzieć na nie wszystkie i trzeba coś wybrać. Autorzy raportu zdecydowali się na analizy dotyczące umiejscowienia sekcji cross- i up-selling, przebiegu rejestracji i działaniu koszyka.

Procedura

W raporcie zabrakło kilku informacji o procedurze, poprosiłam więc Huberta Turaja o dokładniejszy opis. Dzięki jego odpowiedziom łatwiej można wyobrazić sobie przebieg całego badania i wziąć pod uwagę jego ewentualny wpływ na wyniki.

W testach zadaniowych respondenci mieli kupić pewien produkt, określony przez moderatora (zakładam, że dokładnie ten sam). Każdy badany dokonywał zakupu na 5 serwisach.

W eyetrackingu wykorzystano 53 zrzuty ekranów:

  • 19 zrzutów katalogu produktów (różniących się układem i wykorzystaniem zdjęć)
  • 24 zrzuty stron produktów (różniących się ilością zdjęć, formą przycisku call-to-action, wykorzystaniem cross- i up-sellingu itp.)
  • 10 zrzutów koszyków (różniących się formą przycisku, cross- i up-sellingiem)

Katalogi i strony produktów badani mogli przeglądać w sposób dowolny. W przypadku stron koszyka, proszeni byli o kliknięcie w element, który według nich potwierdzi zamówienie (zamówi produkt). Tej ważnej informacji moim zdaniem zabrakło w raporcie przy prezentacji poszczególnych heat map (inaczej przecież użytkownicy patrzą na stronę mając do osiągnięcia jakiś cel a inaczej po prostu zapoznając się ze stroną).

Zrzuty ekranu podzielone zostały na dwa zestawy, gdzie połowa badanych zapoznawała się z jednym zestawem i połowa badanych z drugim. W efekcie każda strona  była prezentowana 15 osobom.

Zadania na serwisach i eyetracking wykonywane były przez tych samych respondentów, naprzemiennie, czyli zadanie – eyetracking kilku rzutów – zadanie na drugim serwisie – eyetracking kolejnych kilku zrzutów – itd.

To bardzo ciekawe podejście do badania. Wykonywanie zadań zakupowych na różnych serwisach przerywane każdorazowo kilkoma zrzutami ekranów, mogło pomóc uniknąć wpływu uczenia (sposobu wykonywania zadania w jednym serwisie na oczekiwania względem kolejnego). Pytanie jednak, czy nie wpłynęło to na sposób przeglądania bodźców w eyetrackingu? Czy badany po wykonaniu zadania (z pewnymi niepowodzeniami, oczekiwaniami, przemyśleniami i po rozmowie z moderatorem) nie patrzył na prezentowane bodźce pod kątem porównania ich z poprzednim serwisem?

Wydaje mi się też, że obserwacja użytkowników na 5 serwisach również była robiona na eyetrackerze i w raporcie pojawiają się fiksacje „złapane” w czasie wykonywania zadań, ale nie jest to jasno powiedziane. Wyniki z zadań i przeglądania screenów mieszają się cały czas ze sobą.

Wnioski z badania

Na podstawie zebranych danych, autorzy raportu wywnioskowali:

  1. Obszar cross-sellingu jest najdłużej obserwowany i zauważany przez największą ilość osób, gdy znajduje się pod produktem (na stronie produktu). Jeżeli miałby znaleźć w bocznej kolumnie, to lepiej w prawej
  2. Odnośnik do koszyka działa najlepiej gdy znajduje się w prawym górnym obszarze serwisu i jest graficznie wyróżniony (nie jest tylko samym tekstem)
  3. Proces zakupu jest lepiej odbierany, gdy użytkownik nie jest zmuszany do rejestracji w serwisie (lub gdy podanie danych rejestracyjnych jest płynnie połączone z procesem zakupu)
  4. Walidacja formularzy powinna być dynamiczna (tzw. inline validation) a komunikaty powinny pojawiać się od razu przy odpowiednim polu
  5. Przycisk dodawania do koszyka (na stronie produktu) i zamawiania (w koszyku) powinien wyglądać jak przycisk, mieć jasną etykietę i wyróżniać się na stronie

Recenzja raportu

W pierwszej części raportu zaprezentowane są główne obserwacje dla każdego z 5 serwisów z testów zadaniowych. Trochę szkoda, że nie ma wizualizacji opisywanych funkcji i uzasadnienia do wyciąganych wniosków. Na przykład dlaczego „cross-selling w formie overlay przy dodawaniu produktu do koszyka” jest zły? Czy badanym przeszkadzała sama forma (wyświetlanie na warstwie), czy to miejsce w procesie zakupowym jest nieodpowiednie? Dlaczego captcha jest zła? Teoretycznie w dalszej części raportu jest napisane, że „wydłuża proces rejestracji. Jest to narzędzie czasochłonne i często irytujące”. Ale czy to oznacza, że w ogóle captcha jest złą metodą (i nie powinno być takiego zabezpieczenia w formularzu), czy tylko forma captchy powinna być inna?

Na kolejnych stronach raportu prezentowane są różne ciekawe obserwacje z wykonywania zadań oraz dane eyetrackingowe z prezentacji statycznych podstron. Obserwacje często zilustrowane są screenami, jednak mi lepiej czytałoby się raport, gdyby pokazane były wyraźne screeny bez fiksacji, które wszystko zasłaniają.

Szkoda też, że większość z tych obserwacji poparta jest danymi z jednego respondenta. Taka prezentacja jest ciekawa, jeśli pokazuje jakieś zaskakujące zachowanie. Jednak dla ogólnych wniosków, które mają być potem podstawą do rekomendacji, wolałabym heat mapę z wszystkich osób.

Jeśli chodzi o cross-selling to najbardziej interesujące są dane porównujące sposób patrzenia na sekcję, gdy umieszczona jest w różnych miejscach strony – pod produktem, lewa kolumna i prawa. Jednak brakuje danych zbiorczych, uśrednionych ze wszystkich serwisów  – procent osób fiksujących na danym typie obszaru, średni czas fiksacji na danym typie obszaru itp. Oczywiście opracowanie takich wyników jest bardzo pracochłonne – trzeba uwzględniać wielkość obszaru cross-sell w  każdym serwisie, na tej podstawie znormalizować dane, policzyć statystyki – ale wyniki na pewno byłyby tego warte :)

Dodatkowo, jeśli w czasie wykonywania zadań był rejestrowany wzrok uczestników, chciałabym się dowiedzieć więcej o fiksacjach na obszarach cross-sellingu w czasie kupowania produktu, aby porównać je do heat map ze statycznych screenów. Jednak aby takie dane były wiarygodne, treść zadania powinna być tak sformułowana, aby użytkownik mógł swobodnie modyfikować zawartość koszyka – a dokładnej treści zadań i sposobu moderacji nie znamy. Bez „przyzwolenia” na skorzystanie z oferty up- i cross-sell, trudno było by badać jej skuteczność.

Jeżeli badani tylko przeglądali stronę katalogu i produktu (bez konkretnego celu „Przejdź do koszyka”), to czy powinniśmy wyciągać wnioski o skuteczności danego sposobu prezentacji koszyka? Zdaniem autorów raportu, najwięcej fiksacji pojawia się na koszyku umiejscowionym w prawym górnym obszarze serwisu, gdy koszyk przybiera jakąś postać graficzną. Wnioski te zostały wyciągnięte na podstawie swobodnego przeglądania statycznych screenów stron katalogowych i/lub produktowych. Być może jednak, gdyby osoba miała do wykonania zadanie (znaleźć koszyk), nie byłoby różnic pomiędzy elementem czysto tekstowym a graficznym? I tu też brakuje mi statystycznych danych zbiorczych.

Podobnie z analizą koszyka i strony produktowej - można by wzbogacić ją takimi danymi jak średni czas do pierwszej fiksacji na przycisku Zamawiam/Do koszyka oraz średni czas od fiksacji do kliknięcia.

W raporcie zabrakło mi …

…opisu procedury, pozwalającego na odniesienie się do prezentowanych wyników.

…informacji o respondentach. Wiek, płeć, profil demograficzny i psycho-społeczny. Czy doświadczeni w zakupach przez Internet, czy nie?

…większej ilości heat map. Badane były 53 zrzuty a w raporcie znajduje się zaledwie 9. Prezentowane są również pewne dane statystyczne z fiksacji bez pokazania heat mapy – dlaczego?

…opisów pod heat mapami. Czy prezentują fiksacje ze swobodnego przeglądania strony, czy badany miał do wykonania zadanie (np. kliknąć w wybrany element).

…większej ilości zaawansowanych statystyk, pozwalających na analizę porównawczą (różnych form koszyka, różnego umiejscowienia cross- i up-sellingu).

…w ogóle większej ilości statystyk. Większość z wniosków zaprezentowanych w raporcie poparta jest obserwacjami (i fiksacjami) z pojedynczych osób, bez odniesienia do pozostałych badanych.

…wyników związanych z up-sellingiem. Jeśli badamy perswazję, to jest to właśnie ta sekcja sklepów internetowych, która powinna zostać dokładniej przeanalizowana – jaka forma jest najefektywniejsza (powoduje, że użytkownicy zapoznają się z proponowanymi produktami i dodają świadomie do koszyka)? W którym miejscu na ścieżce zakupowej, w którym miejscu na stronie, w jakiej formie?

…ciekawych, niespodziewanych wyników. Mam wrażenie, że w raport nie wnosi wiele nowego do naszej wiedzy o projektowaniu serwisów e-commerce. Być może bardziej szczegółowa analiza pozwoliłaby na wyekstrahowanie jakiś ciekawych różnic pomiędzy rozwiązaniami.

Podsumowując

Pewnie wygląda na to, że się strasznie czepiam. Ale to wszystko w dobrej mierze. Powinniśmy dbać o jakość analiz, podstawność wyciąganych wniosków oraz przejrzysty sposób ich prezentacji. Zajęło mi sporo czasu przeanalizowanie raportu – zastanawianie się co robił badany patrząc na daną stronę, co myślał, co mógł zrobić a czego nie. Dlaczego patrzył na koszyk albo na niego nie patrzył.Czy heat mapa jest ze swobodnego przeglądania statycznego zrzutu czy z czasu wykonywania zadania na serwisie. I tak dalej.

Osobiście też uważam, że można było z takim materiałem badawczym zrobić o wiele więcej. Ale wiadomo – pewnie nie da się wszystkiego za jednym razem. Może doczekamy się drugiej edycji badania. A może jest ktoś chętny z eyetrackerem SMI, kto w wolnej chwili pogrzebie sobie w danych (na Facebooku pojawiła się inicjatywa, aby podzielić się danymi).

Jednak mimo tych wszystkich „ale”, raport jest niezły. Jeden z ciekawszych jakie pojawiły się ostatnio na rynku. Na pewno warto przeczytać, bo to zawsze kolejny kawałek wiedzy. Wielki plus za inicjatywę dla chłopaków z Edisondy :)

Credits: photo by andrewvisser