W zależności od obranego planu działania, mogą zajmować nawet dwa razy więcej czasu niż „klasyczne” testy na komputerze. Dlatego już na samym początku warto odpowiedzieć sobie na kilka pytań:

  1. Badać w laboratorium czy w środowisku naturalnym?
  2. Na którym etapie projektu badać – prototypu czy gotowej aplikacji/serwisu?
  3. Na czyim sprzęcie badać – respondenta czy moderatora?
  4. Jak nagrywać przebieg badania?

1. Kontekst użycia testowanej aplikacji

W przypadku urządzeń mobilnych kontekst użycia jest o wiele bardziej istotny, niż w przypadku komputerów. To, czy respondent siedzi przed komputerem w domu, czy w laboratorium, nie wpływa mocno na sposób przeglądania internetu (czyli na wyniki badania). Ale to, czy użytkownik korzysta z aplikacji na telefonie komórkowym siedząc wygodnie przy stole badawczym, czy idąc po ulicy/prowadząc samochód/stojąc w kolejce na wyciąg narciarski – robi już dużą różnicę. Bo czy na ulicy mógłby poświęcić aplikacji tyle samo uwagi co w laboratorium? Czy miałby tam równie dobry dostęp do internetu? Czy byłby taki sam poziom hałasu?

Wybierając pomiędzy badaniami w laboratorium a badaniami terenowymi, badacz powinien rozważyć kilka kwestii:

  • wpływ kontekstu na sposób używania – czy sposób korzystania z aplikacji jest mocno zależny od sytuacji (bycia w potrzebie, w odpowiednim miejscu, w obecności innych osób ), czy też aplikacja jest tak samo używana w różnym otoczeniu (w domu, w autobusie czy kolejce do kasy)
  • przeznaczenie aplikacji – czy służy np. do: orientacji w terenie (wyszukiwanie połączeń komunikacji miejskiej), czytania (newsów czy Facebooka), czy edukacji
  • cele badania – czy głównym celem jest przetestowanie architektury informacji, intuicyjności nawigacji i przejrzystości ekranów (zazwyczaj wystarczy laboratorium) czy może określenie przydatności i realnej chęci korzystania z aplikacji (kontekst jest ważny, więc wybieramy badania terenowe)

2. Przedmiot badania

Na prototypie

Wiadomo, że na im wcześniejszym etapie projektu badamy, tym lepiej. Jednak nie zawsze badania prototypu interfejsu mobilnego są proste. No ok, jeśli testujemy prototyp strony internetowej, nie jest jeszcze aż tak strasznie – stworzone makiety możemy wgrać na telefon w formie klikalnego pdf bądź prototyp html opublikować na jakimś developerskim serwerze. Forma pdf’owa może utrudniać przeprowadzenie badania na telefonie respondenta i kierować nas bardziej ku badaniom na urządzeniu badawczym (o tym aspekcie więcej za chwilę).

Ale przy prototypach aplikacji mogą pojawić się dodatkowe problemy:

  • Co jeśli działanie aplikacji opiera się na działaniu GPS, żyroskopu, głośników, Facebook Connecta czy danych dostępnych na telefonie?
  • A co jeśli aplikacja wymaga obsługi przyciskami telefonu (czego w prototypie, tworzonym np. w Axure, raczej nie odtworzymy)?

Wdrożonej aplikacji

Jest pewnie wiele aplikacji, w przypadku których badanie prototypu jest testowaniem jedynie marnej namiastki ostatecznego expirience’u. Kusi nas wtedy odłożenie badań na późniejszy etap projektu, gdy zaprzęgniemy do pracy sztab developerów i grafików. Pokusę trzeba niestety rozsądnie rozważyć:

  • Czy przy wprowadzaniu zmian nie poniesiemy zbyt dużych kosztów?

Z kolei jeśli zdecydujemy się na badania działających serwisów/aplikacji, w naszej głowie powinny pojawić się kolejne pytania:

  • Czy użytkownik będzie chciał ściągnąć aplikację na swój telefon?
  • Czy aplikacja nie jest płatna?
  • Czy nie naruszy zbytnio prywatności respondenta?

3. Na czyim sprzęcie badać?

Na urządzeniu badawczym

Telefony i tablety stały się bardzo osobiste. Czy lubicie, kiedy ktoś bawi się waszym telefonem? Czy nie zastanawiacie się wtedy, czy nie przegląda właśnie waszych zdjęć albo nie czyta SMSów? W erze smartfonów, telefony stały się niezwykle osobiste – zainstalowane aplikacja świadczą o tym, jakim jesteś człowiekiem – jednym kliknięciem można przeczytać twoją intymną wymianę wiadomości z partnerem lub maile zawodowe, dowiedzieć się jakie lekarstwa zażywasz albo kiedy miałaś ostatni okres (jeśli jesteś kobietą ;).

Do wątpliwości związanych z prywatnością, dorzucam jeszcze wcześniej wspomnianą chęć/niechęć ściągania nowych aplikacji oraz chęć/niechęć wykorzystywania transferu internetowego na potrzeby badania.

Na urządzaniach respondenta

Dla moderatora z kolei, zawartość telefonu respondenta może być skarbnicą wiedzy etnograficznej. Zresztą część użytkowników woli w czasie badania korzystać ze swojego telefonu, bo wiedzą jak go obsługiwać, jakie są ustawienia (np. czy geolokalizacja jest włączona), gdzie co się znajduje. Dzięki temu nie są też zestresowani potencjalną kompromitacją pod tytułem „nie umiem skorzystać z iPhone’a”.

Zanim się zdecydujesz (urządzenie respondenta czy moderatora), odpowiedz sobie na następujące pytania:

  • Czy zależy ci bardzo na zdobyciu insightu i lepszemu poznaniu użytkowników, czy też wystarczy przetestowanie użyteczności samej aplikacji?
  • Czy aplikacja korzysta z danych na telefonie (albumu zdjęć, listy kontaktów) i w jakim stopniu?
  • Czy wybrana metoda badawcza (laboratorium, obserwacja naturalna, testy w terenie) sprzyja któremuś z rozwiązań?

4. Nagrywanie przebiegu badania

Jeśli zależy nam na dokumentowaniu przebiegu badania, najważniejsze jest nagranie ekranu telefonu. Można zrobić to na dwa sposoby: przesyłając obraz z telefonu do komputera (i nagrywanie ekranu komputera) lub nagrywanie ekranu telefonu za pomocą kamery. Gdy mamy do czynienia z ekranami dotykowymi, w grę wchodzi jedynie drugie rozwiązanie, ponieważ powinniśmy mieć zarejestrowane również dłonie i palce respondenta dotykające elementów interfejsu. Fajnie jest również nagrywać twarz albo całą postawę badanego. W tym celu potrzebujemy drugiej kamery. Do wymogu dwóch kamer dodajemy jeszcze fakt, że urządzania mobilne trzymamy zazwyczaj w ręku, lubimy nimi machać i patrzeć pod różnym kątem.

Sytuacja staje się pewnym wyzwaniem. I jak istnieją gotowe rozwiązania ułatwiające rejestrowanie badań w laboratorium, tak już nagrywanie testów terenowych staje się naprawdę trudne.

Na zakończenie, polecam jedną z lepszych prezentacji o badaniach mobilnych

Do it yourself mobile usability testing at EuroIA 2010 from Belen Barros Pena

 

Więcej do poczytania:

Usability testing mobile devices Cocoa Controls
Bardzo dobry artykuł pokazujący o czym powinno się pomyśleć na kolejnych etapach badania na urządzeniu mobilnym

Usability for Mobile Devices UXmatters
Między innymi również o programach do nagrywania ekranu telefonu na komputerze

Mobile User Testing Considerations actualinsights
O prawo- i leworęczności, wyborze otoczenia, połączenia internetowego itp.

How To Conduct A Usability Test On A Mobile Device Measuring Usability
Jak to robi jeden z moich ulubionych wymiataczy badawczych – Jeff Sauro. Od hardware, przez software po usadzenie respondenta i moderatora

Photo by: Lauren Manning