Metoda

Papierowo lub online

Tradycyjnym sposobem, propagowanym ładnych kilka lat temu, jest wydrukowanie strony i prezentowanie jej ze stoperem w ręku.  Na szczęście Internet i badania użyteczność poszły trochę do przodu, więc mamy już specjalne narzędzia do przeprowadzania testów online. Ale do tradycji też można zawsze wrócić, np. pokazując stronę współpracownikom w kuchni na kawie :)

Strony, projekty graficzne, makiety

Przedmiotem badania mogą być strony różnego rodzaju – zrzut ekranu a serwisu hulającego w Internecie, świeżutki projekt graficzny lub makieta  architektury informacji.

Z kontekstem lub bez

Możemy „respondentowi carte blanche” bez słowa wstępu wyświetlić stronę, ale możemy też najpierw wprowadzić go w odpowiedni kontekst – „Wyobraź sobie, że szukasz informacji jak zminimalizować stres kota podczas pierwszej kąpieli. Trafiasz z Google na taką stronę”. Decydując się na wprowadzanie kontekstu, należy uważnie pisać instrukcję, aby nie ukierunkować uwagi na któryś z elementów na stronie.

Test przypominania lub pytania kierunkowe

Po prezentacji strony możemy poprosić badanego, o wymienienie wszystkiego, co zapamiętał, albo zadać pytania bardziej kierunkowe:

  • Jaki jest cel tej strony?
  • Jaki element na stronie był najważniejszy?
  • Co można zrobić dzięki tej stronie?
  • Jak zrobić [tam coś konkretnego] ?
  • Jakie było logo serwisu?

Samodzielny lub w grupie

Może być stosowany jako samodzielna metoda bądź uzupełnienie większego planu badawczego. Już wyobrażam sobie dodanie go do eyetrackingu – po pierwszej, 5 sekundowej prezentacji danego projektu graficznego czy podstrony, pytamy o zapamiętane elementy. Wyniki możemy zestawić z fiksacjami. Również obserwacje użytkowników można rozpocząć od testu, a dopiero potem przejść do zadań.

Kiedy test 5 sekund

  • We wstępnej fazie projektu, w celu przetestowania koncepcji i układu elementów na stronie
  • Przy zastosowaniu niestandardowych rozwiązań projektowych
  • Gdy zależy nam na szybkim feedbacku, nie mamy czasu na dłuższe badania
  • Kiedy nie ma budżetu na „większe”, bardziej zaawansowane badania z użytkownikami

Dla poszerzenia tematu, polecam do przeczytania:

5-Second Tests: Measuring Your Site’s Content Pages – klasyczny już artykuł na UIE z 2005 roku
Usability Tools Podcast: 5-Second Usability Tests – też na UIE, 16-minutowy podcast, już z 2007!
Test 5 sekund – UXbite

Jak ja bym zrobiła

W przypadku badania strony głównej, nie dawałabym wprowadzania w kontekst. Przetestowanie „surowego” odbioru, wydaje mi się ciekawsze. Lepiej zobaczyć jaki cel serwisu zauważają użytkownicy, a nie narzucać im go z góry. Dla stron celowych (jak produkt, landing page, koszyk, profil użytkownika i tym podobne) raczej dodałabym krótkie wprowadzenie.

Po prezentacji strony, najpierw zapytałabym:

  • Co zapamiętałeś z tej strony?
  • Jakie są Twoje odczucia?
  • Z czym Ci się kojarzy?

Potem 1 do 3 pytań kierunkowych.

Następnym razem, przy eyetrackingu projektów graficznych jakiegoś nowego serwisu, po wprowadzeniu respondenta do laboratorium, zacznę od razu od testu 5 sekund strony głównej. Dopiero potem opowiem o przedmiocie i celu całego badania oraz dla kogo je robimy. Podobnie zrobię z obserwacją zadań wykonywanych na serwisie czy prototypie. Pytanie tylko, czy robienie  w czasie jednego badania 2-3 testów dla różnych podstron, jest zasadne? Jeżeli już, to chyba na samym początku, przed rozpoczęciem interakcji z serwisem, wszystkie testy 5 sekund pod rząd.

Wstydliwe wyznanie

O testach 5 sekund słyszałam od zarania dziejów użyteczności, ale aż wstyd przyznać – nigdy nie miałam okazji czy wystarczającej motywacji, aby je wypróbować. Na szczęście do czasu! Jakiś czas temu, Paulina z biurka naprzeciwko, odkryła Clue. Postanowiłam przetestować i podzielić się spostrzeżeniami.

Aplikacja Clue

To prosta aplikacja do zrobienia szybkiego testu 5 sekund. Tak naprawdę, po dwóch minutach masz gotowy test i zaczynasz zbierać dane. Jest darmowe, wystarczy zainstalować w przeglądarce Chrome. Poza kontem Google, potrzebnym do ściągnięcia aplikacji z Chrome Web Store, Clue nie wymaga żadnej dodatkowej rejestracji.

Tworzenie testu

Clue Tworzenie Testu

Clue – Tworzenie testu

Wystarczy wpisać adres strony, którą chcesz przetestować, a Clue zrobi screenshota strony, ustawi test i wyświetli panel do analizy wyników. Link do testu możesz szybko opublikować na Facebooku, Twitterze czy wysłać mailem do wybranych osób. Zapraszając respondentów, dobrze poinformować wszystkich o dacie i godzinie, kiedy test przestanie być aktywny (trzeba doliczyć 48h od momentu stworzenia testu).

Wypełnianie testu przez badanych

Po kliknięciu w link, użytkownicy otrzymują stronę z instrukcją po angielsku – „Look at this screenshot and remember what you see”, czyli „Spójrz na zrzut strony i zapamiętaj co zobaczysz”. Nie ma możliwości wpisania własnej instrukcji.

Clue Instrukcja

Clue – Instrukcja dla badanych

Po kliknięciu „Take the Test”, przez 5,5 sekundy wyświetla się zrobiony wcześniej screenshot. Następnie pojawia się strona z 5 polami do wpisania zapamiętanych elementów – „What can you remember about the webpage”, czyli „Co zapamiętałeś z tej strony?”

Clue Wpisywanie Odpowiedzi

Clue – Wpisywanie odpowiedzi

Nie ma napisane, co badany powinien wpisywać – cel serwisu, jego główne przesłanie, zauważone obszary, grafiki, kolorystykę. Tak naprawdę można wpisać cokolwiek, co trochę utrudnia analizę wyników.

Mój test 5 sekund

Postanowiłam sprawdzić aplikację, ustawiając test dla strony głównej mojego serwisu. Przyznaję, że próba badawcza nie była najfortunniej dobrana – fani z profilu facebookowego, moi facebookowi znajomi i pracownicy K2 – mimo to myślę, że większość osób widziała stronę po raz pierwszy. W badaniu wzięło udział 65 osób, co daje już niezłą ilość danych do analizy.

Wyniki

Jak widać, panel z wynikami badania wygląda bardzo przyjaźnie (po kliknięciu – screen z całego panelu. Chętni mogą zobaczyć też wyniki online).

Panel z wynikami testu Clue

Clue – Panel z wynikami (kliknij, aby zobaczyć pełną wersję)

Na pierwszy rzut oka raport wygląda bardzo fajnie – odpowiedzi respondentów zostały pogrupowane i posortowane pod względem ilości wskazań. Na szybko można wysnuć kilka wniosków: najlepiej widoczne na stronie były Cytaty z badań i Kto naprawia. Użytkownicy widzieli też nazwę strony IfixUX, nagłówek Blog i zdjęcie z telefonem.

Niestety. Nie jest to takie proste. Po wczytaniu się w pojedyncze odpowiedzi w obrębie grup, okazuje się, że nie są spójne i często nie mają nawet nic wspólnego z nazwą grupy. Dla przykładu, w kategorii Kto naprawia pojawiają się wypowiedzi związane z dziewczynką na zdjęciu, nazwą strony czy kolorystyką serwisu. O rzetelności liczby wskazań na grupę można więc chyba zapomnieć. Postanowiłam nie sugerować się stworzonymi przez Clue grupami i przeanalizować surowe dane.

Niestety. Okazuje się, że Clue nie daje nam wglądu w pojedyncze odpowiedzi respondentów. Jeśli byłoby tak, przy 65 badanych, odpowiedzi w nawiasach byłoby zdecydowanie wiecej.

Tak więc nie wiadomo czemu bardziej wierzyć – stworzonymi grupami i liczbowymi wskazaniami Clue, czy pojedynczymi odpowiedziami w nawiasach? Niestety. Nie ma wyjścia, trzeba jednemu i drugiemu. Pamiętać tylko trzeba, aby trochę przymróżyć oko.

Jedyne co mogłam zrobić, aby poprawić jakość wyników, to przerzucić wyniki do excela i ręcznie zgrupować podobne odpowiedzi. Zniwelowałam przynajmniej błędy związane z zawiłościami językowymi i brakiem semantyki.

Główne wnioski z badania

  1. Logo dobrze widoczne, jednak nazwa strony ciężka do zrozumienia i zapamiętania („influx.pl”, „linux”, „lifux”, „ifuxux”, „fix- coś tam”, „ZAUWAZYLEM, ZE NIE PAMIETAM LOGO!!!”). Oznacza to, że wymyśliłam sobe trudną nazwę, a wygląd logo, nie ułatwia sprawy.
  2. Najbardziej przyciągają uwagę zdjęcia, a przede wszystkim dziewczynka, skłaniająca zresztą do głębszych rozważań („z dziwnymi oczami”, „malująca usta szminką”, „Chucky”). Towarzyszące zdjęciom duże napisy, również są zauważane – najwięcej wskazań na Cytaty z badań (ok. 50 wskazań).  W drugiej kolejności  Kto naprawia (ok. 22) i Kontakt (ok. 22). Najsłabiej wypada Wiedza (ok. 14).
  3. Tylko 5 wskazań na tematykę badań – to bardzo niedobrze! Chciałabym, aby docelowo strona stała się jakby centrum wiedzy o badaniach user experience, więc powinno to być mocniej komunikowane na stronie głównej.
  4. Mimo silnej koncentracji na prawej części strony, co czwarta osoba zauważa, że jest to też blog (ok. 15 wskazań). Myślę, że to niezły wynik, przy 5 sekundach i braku grafik w tym obszarze.

Ocena aplikacji Clue

Trochę minusów

  • Brak możliwości edycji instrukcji dla respondentów
  • Aplikacja jest tylko po angielsku – instrukcje dla respondentów w obcym języku, a brak polskich znaków w raporcie, utrudnia czytanie wyników
  • Nieznany, tajemniczy sposób grupowania odpowiedzi w panelu raportowym
  • Brak wszystkich surowych wyników – przy Cytaty z badań jest liczba 22, a w nawiasie tylko 6 wypowiedzi (a może liczba przy grupie nie jest liczbą wskazań?)
  • Brak widocznego oddzielenia od siebie wyników – użycie przecinków powoduje, że wypowiedzi zlewają się ze sobą
  • Testować można tylko opublikowaną stronę internetową. Nie przebadasz projektu graficznego czy prototypu, póki nie wrzucisz go pod jakiś url.
  • Test jest aktywny tylko przez 48 godzin. Nie ma możliwości zmiany zakresu czasowego
  • Otwarte wyniki, po zakończeniu badania każdy może wejść w panel. Wystarczy wejść ponownie na stronę testu, gdzie znajduje się link do wyników (lub na końcu adresu URL dopisać „+”). Oznacza to, że lepiej nie wykorzystać narzędzia do testowania wstępnych koncepcji dla klientów, którzy nie chcą, aby projekt „wypłynął”

Ale przydatne

Jednak mimo minusów, nie można odmówić Clue fajności. Jest darmowe, szybkie i proste. Mało przydatne, jeśli chcielibyśmy przygotować rzetelną analizę wyników, ale do przeprowadzania „brudnych testów” – wystarczające.

Z takim narzędziem pod ręką, obiecuję się poprawić i częściej przeprowadzać testy 5 sekundowe online. K2, strzeż się, bo od dzisiaj zaczynam was gnębić na mailu :)

A może Five Second Test?

Jako alternatywę mamy Five Second Test, który jest narzędziem zdecydowanie bardziej zaawansowanym – pozwala na wpisanie własnej instrukcji i pytań, które chcemy zadać na zakończenie testu, prezentuje wyniki w podziale na zadane pytania, również w formie chmury słów kluczowych. Wyniki dostępne tylko z poziomu panelu admina i linka, którym możesz się podzielić z wybranymi osobami – więc już bezpiecznie, przy przeprowadzaniu testów dla „projektów tajnych”.

Po szybkim przeglądzie tutoriala i panelu administracyjnego, wydaje się być lepszym narzędziem. Ale to już kosztuje :) Jak kupię i przetestuję, to się podzielę przemyśleniami.

Credits: photo by Carbon Arc