Metoda

Papierowo lub online

Tradycyjnym sposobem, propagowanym ładnych kilka lat temu, jest wydrukowanie strony i prezentowanie jej ze stoperem w ręku.  Na szczęście Internet i badania użyteczność poszły trochę do przodu, więc mamy już specjalne narzędzia do przeprowadzania testów online. Ale do tradycji też można zawsze wrócić, np. pokazując stronę współpracownikom w kuchni na kawie :)

Strony, projekty graficzne, makiety

Przedmiotem badania mogą być strony różnego rodzaju – zrzut ekranu a serwisu hulającego w Internecie, świeżutki projekt graficzny lub makieta  architektury informacji.

Z kontekstem lub bez

Możemy „respondentowi carte blanche” bez słowa wstępu wyświetlić stronę, ale możemy też najpierw wprowadzić go w odpowiedni kontekst – „Wyobraź sobie, że szukasz informacji jak zminimalizować stres kota podczas pierwszej kąpieli. Trafiasz z Google na taką stronę”. Decydując się na wprowadzanie kontekstu, należy uważnie pisać instrukcję, aby nie ukierunkować uwagi na któryś z elementów na stronie.

Test przypominania lub pytania kierunkowe

Po prezentacji strony możemy poprosić badanego, o wymienienie wszystkiego, co zapamiętał, albo zadać pytania bardziej kierunkowe:

  • Jaki jest cel tej strony?
  • Jaki element na stronie był najważniejszy?
  • Co można zrobić dzięki tej stronie?
  • Jak zrobić [tam coś konkretnego] ?
  • Jakie było logo serwisu?

Samodzielny lub w grupie

Może być stosowany jako samodzielna metoda bądź uzupełnienie większego planu badawczego. Już wyobrażam sobie dodanie go do eyetrackingu – po pierwszej, 5 sekundowej prezentacji danego projektu graficznego czy podstrony, pytamy o zapamiętane elementy. Wyniki możemy zestawić z fiksacjami. Również obserwacje użytkowników można rozpocząć od testu, a dopiero potem przejść do zadań.

Kiedy test 5 sekund

  • We wstępnej fazie projektu, w celu przetestowania koncepcji i układu elementów na stronie
  • Przy zastosowaniu niestandardowych rozwiązań projektowych
  • Gdy zależy nam na szybkim feedbacku, nie mamy czasu na dłuższe badania
  • Kiedy nie ma budżetu na „większe”, bardziej zaawansowane badania z użytkownikami

Dla poszerzenia tematu, polecam do przeczytania:

5-Second Tests: Measuring Your Site’s Content Pages – klasyczny już artykuł na UIE z 2005 roku
Usability Tools Podcast: 5-Second Usability Tests – też na UIE, 16-minutowy podcast, już z 2007!
Test 5 sekund – UXbite

Jak ja bym zrobiła

W przypadku badania strony głównej, nie dawałabym wprowadzania w kontekst. Przetestowanie „surowego” odbioru, wydaje mi się ciekawsze. Lepiej zobaczyć jaki cel serwisu zauważają użytkownicy, a nie narzucać im go z góry. Dla stron celowych (jak produkt, landing page, koszyk, profil użytkownika i tym podobne) raczej dodałabym krótkie wprowadzenie.

Po prezentacji strony, najpierw zapytałabym:

  • Co zapamiętałeś z tej strony?
  • Jakie są Twoje odczucia?
  • Z czym Ci się kojarzy?

Potem 1 do 3 pytań kierunkowych.

Następnym razem, przy eyetrackingu projektów graficznych jakiegoś nowego serwisu, po wprowadzeniu respondenta do laboratorium, zacznę od razu od testu 5 sekund strony głównej. Dopiero potem opowiem o przedmiocie i celu całego badania oraz dla kogo je robimy. Podobnie zrobię z obserwacją zadań wykonywanych na serwisie czy prototypie. Pytanie tylko, czy robienie  w czasie jednego badania 2-3 testów dla różnych podstron, jest zasadne? Jeżeli już, to chyba na samym początku, przed rozpoczęciem interakcji z serwisem, wszystkie testy 5 sekund pod rząd.

Wstydliwe wyznanie

O testach 5 sekund słyszałam od zarania dziejów użyteczności, ale aż wstyd przyznać – nigdy nie miałam okazji czy wystarczającej motywacji, aby je wypróbować. Na szczęście do czasu! Jakiś czas temu, Paulina z biurka naprzeciwko, odkryła Clue. Postanowiłam przetestować i podzielić się spostrzeżeniami.

Aplikacja Clue

To prosta aplikacja do zrobienia szybkiego testu 5 sekund. Tak naprawdę, po dwóch minutach masz gotowy test i zaczynasz zbierać dane. Jest darmowe, wystarczy zainstalować w przeglądarce Chrome. Poza kontem Google, potrzebnym do ściągnięcia aplikacji z Chrome Web Store, Clue nie wymaga żadnej dodatkowej rejestracji.

Tworzenie testu

Clue Tworzenie Testu

Clue – Tworzenie testu

Wystarczy wpisać adres strony, którą chcesz przetestować, a Clue zrobi screenshota strony, ustawi test i wyświetli panel do analizy wyników. Link do testu możesz szybko opublikować na Facebooku, Twitterze czy wysłać mailem do wybranych osób. Zapraszając respondentów, dobrze poinformować wszystkich o dacie i godzinie, kiedy test przestanie być aktywny (trzeba doliczyć 48h od momentu stworzenia testu).

Wypełnianie testu przez badanych

Po kliknięciu w link, użytkownicy otrzymują stronę z instrukcją po angielsku – „Look at this screenshot and remember what you see”, czyli „Spójrz na zrzut strony i zapamiętaj co zobaczysz”. Nie ma możliwości wpisania własnej instrukcji.

Clue Instrukcja

Clue – Instrukcja dla badanych

Po kliknięciu „Take the Test”, przez 5,5 sekundy wyświetla się zrobiony wcześniej screenshot. Następnie pojawia się strona z 5 polami do wpisania zapamiętanych elementów – „What can you remember about the webpage”, czyli „Co zapamiętałeś z tej strony?”

Clue Wpisywanie Odpowiedzi

Clue – Wpisywanie odpowiedzi

Nie ma napisane, co badany powinien wpisywać – cel serwisu, jego główne przesłanie, zauważone obszary, grafiki, kolorystykę. Tak naprawdę można wpisać cokolwiek, co trochę utrudnia analizę wyników.

Mój test 5 sekund

Postanowiłam sprawdzić aplikację, ustawiając test dla strony głównej mojego serwisu. Przyznaję, że próba badawcza nie była najfortunniej dobrana – fani z profilu facebookowego, moi facebookowi znajomi i pracownicy K2 – mimo to myślę, że większość osób widziała stronę po raz pierwszy. W badaniu wzięło udział 65 osób, co daje już niezłą ilość danych do analizy.

Wyniki

Jak widać, panel z wynikami badania wygląda bardzo przyjaźnie (po kliknięciu – screen z całego panelu. Chętni mogą zobaczyć też wyniki online).

Panel z wynikami testu Clue

Clue – Panel z wynikami (kliknij, aby zobaczyć pełną wersję)

Na pierwszy rzut oka raport wygląda bardzo fajnie – odpowiedzi respondentów zostały pogrupowane i posortowane pod względem ilości wskazań. Na szybko można wysnuć kilka wniosków: najlepiej widoczne na stronie były Cytaty z badań i Kto naprawia. Użytkownicy widzieli też nazwę strony IfixUX, nagłówek Blog i zdjęcie z telefonem.

Niestety. Nie jest to takie proste. Po wczytaniu się w pojedyncze odpowiedzi w obrębie grup, okazuje się, że nie są spójne i często nie mają nawet nic wspólnego z nazwą grupy. Dla przykładu, w kategorii Kto naprawia pojawiają się wypowiedzi związane z dziewczynką na zdjęciu, nazwą strony czy kolorystyką serwisu. O rzetelności liczby wskazań na grupę można więc chyba zapomnieć. Postanowiłam nie sugerować się stworzonymi przez Clue grupami i przeanalizować surowe dane.

Niestety. Okazuje się, że Clue nie daje nam wglądu w pojedyncze odpowiedzi respondentów. Jeśli byłoby tak, przy 65 badanych, odpowiedzi w nawiasach byłoby zdecydowanie wiecej.

Tak więc nie wiadomo czemu bardziej wierzyć – stworzonymi grupami i liczbowymi wskazaniami Clue, czy pojedynczymi odpowiedziami w nawiasach? Niestety. Nie ma wyjścia, trzeba jednemu i drugiemu. Pamiętać tylko trzeba, aby trochę przymróżyć oko.

Jedyne co mogłam zrobić, aby poprawić jakość wyników, to przerzucić wyniki do excela i ręcznie zgrupować podobne odpowiedzi. Zniwelowałam przynajmniej błędy związane z zawiłościami językowymi i brakiem semantyki.

Główne wnioski z badania

  1. Logo dobrze widoczne, jednak nazwa strony ciężka do zrozumienia i zapamiętania („influx.pl”, „linux”, „lifux”, „ifuxux”, „fix- coś tam”, „ZAUWAZYLEM, ZE NIE PAMIETAM LOGO!!!”). Oznacza to, że wymyśliłam sobe trudną nazwę, a wygląd logo, nie ułatwia sprawy.
  2. Najbardziej przyciągają uwagę zdjęcia, a przede wszystkim dziewczynka, skłaniająca zresztą do głębszych rozważań („z dziwnymi oczami”, „malująca usta szminką”, „Chucky”). Towarzyszące zdjęciom duże napisy, również są zauważane – najwięcej wskazań na Cytaty z badań (ok. 50 wskazań).  W drugiej ko