W ciągu 4 lat pracy w K2, miałam przyjemność kilka razy podglądać z boku ich pracę i za każdym razem byłam w coraz większym szoku, jak bardzo można spieprzyć badania z użytkownikami. A czarę goryczy przelało ostatnie badanie prototypu na eyetrackerze, opisane szerzej przez Maćka we wpisie Jak agencje badawcze testują użyteczność.

If I wear a white coat and dangle a stethoscope around my neck, it doesn’t make me a medic. Similarly, if I record a picture-in-picture video of someone using a web site, it doesn’t mean I’m running a usability test.

David Travis

Dlaczego agencje badawcze robią tragiczne badania użyteczności?

1. Są źle briefowane

Zazwyczaj do agencji badawczych zwracają się pracownicy działu marketingu, który na co dzień nie są w projekcie, ale zostali  poproszeni przez project managera o „zorganizowanie jakichś badań serwisu”. Problem polega na tym, że marketing zazwyczaj nie potrafi dobrze zbriefować agencji – określić celów badania, wskazać istotnych zagadnień do przetestowania (które np. budziły wątpliwości projektantów w czasie pracy nad serwisem) czy wypracować optymalnego doboru grup respondentów (segmentów) i ilości badanych.

Nie spotkałam się z ani jednym scenariuszem badania czy raportem opracowanym przez agencję badawczą, który zawierałby cele badania i uzasadnienie wykorzystanych metod. W efekcie przeprowadzane są badania ze słabym doborem metod badawczych, źle opracowanymi zadaniami, niepełnym zestawem pytań do wywiadu. Ale to nic – „na pewno dużo się dowiemy, bo badamy 36 osób”.

2. Nie interesuje ich szerszy kontekst projektu

Zlecający (jak już ustaliliśmy – pracownicy działu marketingu) zazwyczaj nie myślą o tym, aby wprowadzić agencję w szerszy kontekst – zarysować ogólne tło projektu, określić założenia projektowe, cele długoterminowe czy wymienić ograniczenia biznesowe i technologiczne.

Efekt: Rekomendacje niedostosowane do realiów projektu.

Agencje najwyraźniej nie dopytują o to ani przed badaniami, ani po, bo niejednokrotnie widziałam w raporcie rekomendacje odstające zupełnie od realiów projektu (przy takich piszę zawsze LOL na marginesie, co niekiedy pojawia się nawet co 2-3 slajd). Byłam też na prezentacjach raportów, gdzie klient kazał pomijać całe slajdy, bo „nie taki jest nasz cel” albo „nie możemy tak zrobić, bo…”

3. Nie zapoznają się dogłębnie z przedmiotem badania

Dość niezręczne są sytuacje, gdy respondent nie może znaleźć określonej podstrony i wymagana jest asysta badacza (celem wykonania dalszej części zadania), ale niestety sam moderator podpowiada błędne ścieżki.

Z kolei w przypadku badań prototypu zdarzają się sytuacje, gdy badacze z agencji dostają prototyp (którego oczywiście sami nie zaprojektowali) i nie zostają wprowadzeni w sposób jego działania – do jakiej rozdzielczości jest dostosowany, co jest klikalne a co nie, jak mają działać rzeczy nie zwizualizowane w prototypie (trzeba wiedzieć co ewentualnie powiedzieć badanemu, który chciałby się tam zapuścić). Jeżeli badacze mają rekomendować zmiany, to powinni wiedzieć jakie były ułomności badanego prototypu, aby ocenić prawdopodobieństwo późniejszego pojawienia się błędów na wdrożonym sajcie.

4. Nie znają dobrze metodyki badań użyteczności

Chyba najbardziej przerażające jest to, że ktoś bierze się za badania user experience, a nie zna możliwości i ograniczeń wykorzystywanych metod badawczych. W efekcie zdarza się, że zarekomendowany plan badania jest nieodpowiedni do uzyskania odpowiedzi na postawione pytania badawcze. Co najgorsze – badania są najzwyczajniej w świecie źle moderowane. Chyba nie muszę udowadniać dlaczego prowadzi to do złych wniosków i rekomendacji.

Minusem jest nie tylko złe wykorzystanie metody, ale również nie wykorzystywanie innych metod poza wywiadami, obserwacją użytkowników i eyetrackingiem. A gdzie metody testowania struktury? Albo tworzenia jej z użytkownikami (card sorting)? Gdzie test 5 sekund? Gdzie karty reakcji? I wiele wiele innych?

Case: Eyetracking prototypu + protokół głośnego myślenia.

Byłam na badaniach „IDI + ET”, gdzie na eyetrackerze badany był prototyp serwisu – proste makiety, w odcieniach szarości, z kilkoma zdjęciami w obszarach promocyjnych. W trakcie badania respondenci patrzyli na moderatora, wiercili się i zmieniali pozycję – co prawdopodobnie skutkowało pogorszeniem jakości lub całkowitą utratą kalibracji. Mogli również komentować wykonywane czynności, co prowadziło do dyskusji z moderatorem przy jednoczesnym dalszym przeglądaniu strony – a takie fiksacje nie są diagnostyczne. I pomimo tych wszystkich błędów metodycznych, badacze opracowali mapy cieplne, na podstawie których wnioskowali i rekomendowali zmiany.

Case: IDI to dopytanie o ocenę serwisu.

W powyższym badaniu „IDI + ET”, respondent po przyjściu do laboratorium zaczynał od obejrzenia projektów graficznych, wykonania kilku zadań na prototypie oraz kilku na benchmarkowanym serwisie – całość na eyetrackerze. Następnie odbywał się „IDI”. Polegał na serii pytań dotyczących kolejno każdego z wykonanych zadań („Wracając do zadania 1 z 6. Czy łatwo było znaleźć informacje o…?”). Na dodatek wywiad przeprowadzany był w innej sali, gdzie respondent raczej tracił kontekst i trudno było mu przypomnieć sobie dokładnie swoje myśli i działanie.

W moim mniemaniu, IDI to wywiad mający na celu zgłębienie informacji o indywidualnych potrzebach, doświadczeniach i oczekiwaniach badanego, przeprowadzany zazwyczaj przed ekspozycją badanego serwisu. A nie pytanie o to, jak respondentowi wykonywało się zadania.

Case: Pytania sugerujące to norma.

Klienci często wypisują w briefie pytania badawcze, zdradzające od razu swoje nadzieje: „Czy łatwo można znaleźć potrzebne informacje?”, „Jak oceniają łatwość zakupu?”, „Czy tabela jest zrozumiała?”. Niestety pytania te bywają żywcem kopiowane do scenariusza – bez żadnej operacjonalizacji, pomysłu na uzyskanie diagnostycznej odpowiedzi nie pytając wprost, bez pomysłu na wskaźniki. W jednym scenariuszu badawczym trafiłam kiedyś na aż 18 pytań sugerujących.

Case: Card sorting bez zarejestrowania ostatecznych grup.

Byłam kiedyś na badaniach, gdzie jedną z metod był analogowy card sorting (układanie kartek na stole). Niestety, końcowy wynik układania nie zostały odpowiednio udokumentowany – brak zdjęcia czy spisania elementów z każdej grupy. Naturalne jest więc, że raport nie zawierał dobrej analizy wyników, a jedynie jakieś ogólne zalecenia, bez wskazania rekomendowanego podziału treści.

5. Brak im wiedzy o zachowaniu człowieka

Nie twierdzę, że każdy badacz musi być po kursie z psychologii, ale powinien przynajmniej posiadać podstawową wiedzę – że obecność moderatora ma wpływ na zachowanie i deklaracje respondenta, że kolejność wykonywania czynności ma znaczenie. Że ludzie są podatni na sugestię. Że racjonalizują i redukują dysonans związany z niepowodzeniami, obwiniając siebie a nie badany serwis („gdybym posiedział w domu, na spokojnie, to byłoby łatwe”).

6. Wyciągają wnioski na podstawie deklaracji

Przyzwyczajeni od lat do zbierania opinii (w badaniach marketingowych, badaniach rynku czy opinii publicznej), zbyt dużo wagi przywiązują do deklaracji respondentów, a nie ich emocji i zachowania. Przeprowadzają wywiady a nie rzetelne obserwacje. Na podstawie wypowiedzi wyciągają wnioski, a nawet rekomendują rozwiązania zasugerowane przez badanych.

Case: Respondenci nie potrafili zmienić zdania.

Wniosek zanotowany co do słowa na jednej z prezentacji raportu: „Niestety, pozytywne wrażenia wywołane na początku były na tyle intensywne, że respondenci nie mogli zmienić zdania i ocenić negatywnie funkcjonowania serwisu”. Badacz nie zdawał sobie sprawy, że opinię użytkowników powinno się oceniać na podstawie obserwacji zachowania, a nie deklaracji. I że takie deklaracje respondentów są dobre! Na szczęście klient zrozumiał :) „To cudownie! Jesteśmy jak Apple. Serwis robi takie  wrażenie, że użytkownicy są w stanie zapomnieć o niedociągnięciach”.

Case: Agencja rekomenduje to, co zasugerował jeden respondent.

Raport agencji, Sekcja OBSERWACJE: „W większości [respondenci] uznali, iż serwis jest przejrzysty i uporządkowany […] Wysoko oceniono także zakładki na górze strony [menu główne] – są czytelne, dzięki nim łatwo można poruszać się po stronie”. Ale, ale, zdanie 1 z 15 respondentów jest równie szalenie ważne: „Pojawiła się także sugestia jednego z respondentów, który krytycznie ocenił przejrzystość strony głównej, aby ją uporządkować – w ramkach obok siebie umieścić kolejne grupy informacji, a po prawej stronie wstawić menu, które od razu po wejściu do serwisu poinformuje użytkownika o zawartości strony i  umożliwi bezproblemowe poruszanie się po stronie”.

Raport tej samej agencji, Sekcja REKOMENDACJE: „Być może zastosowanie boxów i ułożenie informacji w blokach pionowych dodatkowo uzupełnione o menu usytuowane po prawej stronie sprawi, iż strona będzie sprawiała wrażenie jeszcze bardziej przejrzystej”. Jak widać, opinia pozostałych 14 osób o czytelności głównego menu poziomego i przejrzystości strony, nie ma większego znaczenia.

7. Nie znają się na projektowaniu interfejsów

Należy powiększyć logo. Na heatmapach nie jest najcieplejszym miejscem

źródło: http://www.facebook.com/JuniorBrandManager

Po prostu – badaczom z agencji badania rynku i opinii brak wiedzy o projektowaniu serwisów internetowych. Najprawdopodobniej nigdy nic nie zaprojektowali, więc mają trudności z opracowaniem rekomendacji, uwzględniających różne aspekty projektu (potrzeby użytkowników, perswazję, cele biznesowe, ograniczenia technologiczne czy funkcjonalne itp.).

Case’y: Zabawne rekomendacje

  • „Wszystkie elementy na stronie głównej powinny znajdować się na pierwszej stronie, aby użytkownicy nie musieli przewijać strony”
  • „Logo powinno być większe, bo jak widać na mapach cieplnych, obszar jest zaledwie zielony”
  • „Zmniejszyć obszar wizerunkowo-promocyjny, bo rozprasza użytkowników przy wykonywaniu zadań”
  • „Być może należy zastanowić się nad zmianą nazwy dla sekcji ‚Kontakt’ na „napisz do nas’ czy ‚skontaktuj się z nami’. Warto rozważyć wprowadzenie czytelnego piktogramu na przykład w postaci koperty”

 8. Ich sposób raportowania jest straszny

  • Brak opisu celów i procedury badawczej
  • Slajdy z ogromną ilością tekstu, niekiedy pisane 10 pkt, bez punktorów czy wyróżnień – nie da się rzucić okiem na slajd i złapać w lot główną myśl
  • Zupełny brak video, mało cytatów (a jeśli już, to strasznie długie, na całe slajdy)
  • Brak określenia wagi zaobserwowanych zagadnień oraz priorytetów wdrożenia rekomendowanych zmian

Case: Video bez dźwięku.

Wspomniane wcześniej testowanie prototypu na eyetrackerze, było pierwszym badaniem, po którym pojawiły się fragmenty video w prezentacji wyników. Szkoda tylko, że nie miały dźwięku – ale jak mogłoby być inaczej, skoro pamiętamy, że w czasie fiksacji miał miejsce protokół głośnego myślenia a moderator zadawał pytania ;)

* do powyższego

Nie jest tak, że każde badanie użyteczności przeprowadzone przez agencję badań marketingowych, to jedno wielkie pasmo niepowodzeń. Chyba w każdym badaniu, które widziałam, były też jakieś trafne obserwacje, poprawnie wyciągnięte wnioski i ciekawe rekomendacje. Ale jest tego niewiele w stosunku do uchybień.

Być może, któraś z agencji zna się na rzeczy i potrafi badać na potrzeby designu. Może miałam pecha i trafiałam na same słabe zespoły badawcze? Może.

Cechy dobrego badacza UX

Według mnie badacz, który zajmuje się badaniem serwisów internetowych powinien wiedzieć co nieco na temat procesu tworzenia takich produktów, wiedzieć czym jest makieta, jak zachowują się użytkownicy. A jeśli chce wydawać jakieś rekomendacje, a nie tylko raportować surowe wyniki musi wiedzieć coś o samym projektowaniu. Inaczej, to tak jakby badacz marketingowy nie wiedział nic o marketingu.

Maciek Lipiec

Moim zdaniem, mówiąc z grubsza i nie zagłębiając się w szczegóły – dobry badacz powinien charakteryzować się:

  • Znajomością metod badawczych na potrzeby webdesignu – aby opracować dobry scenariusz i poprawnie przeprowadzić badanie
  • Podstawową wiedzą z zakresu psychologii – jak sytuacja badawcza może wpływać na zachowanie i opinie respondentów
  • Świadomością własnych błędów w planie czy moderacji, aby uwzględniać ich wpływ na wyniki
  • Doświadczeniem w projektowaniu – aby dobrze rekomendować zmiany
  • Miękkimi zdolnościami jak chęć poznawania innych ludzi, pogłębiania tematu rozmowy, swoboda konwersacji, przy jednoczesnej umiejętności słuchania i obserwowania

Polecane

4 forgotten principles of usability testing User Focus
So, You Want to Do User Research: Characteristics of Great Researchers UX matters
So you want to be a user researcher? Pat’s point of view

 Credits: photo by bettyx1138