Z ciekawości wzięłam udział w badaniu, aby zobaczyć jak to jest być „po drugiej stronie”. I  było… dziwnie. Na pewno nie korzystałam z serwisu tak, jak przeglądałabym „dla siebie” np. listę kandydatów. Skupiałam się mocno na tym, aby poprawnie wykonać mało naturalne zadanie („kujawsko-pomorskie, kujawsko-pomorskie, Toruń, nr.5, kujawsko-pomorskie”), wymagające jeszcze zapamiętania informacji, która tak naprawdę mnie nie interesuje (imię i nazwisko kandydata z kujawsko-pomorskiego). Na domiar złego trafiło mi się sld.org.pl – przy braku determinacji, w normalnych warunkach, dawno uciekłabym z takiego serwisu.

Chwila dygresji – UserZoom

Ale muszę przyznać, że UserZoom jest dość przyjazne w użyciu. Wyświetla cały czas treść zadania na dole przeglądarki a użytkownik sam decyduje, kiedy zakończyć zadanie – za pomocą stale widocznych przycisków „zakończone z sukcesem” i „poddaję się” (mniej więcej tak, w rzeczywistości przyciski nazywają się inaczej). Aplikacja umożliwia wprowadzenie po każdym zadaniu pytania walidującego poprawność odnalezionych informacji (w formie pytania zamkniętego) oraz pytanie o zadowolenie z wykonywania zadania.

Taka samoobsługa znacznie przyspiesza analizę – praktycznie od ręki dostajemy dane o ilości osób poprawnie kończących zadanie, średni czas wykonywania zadania oraz średnią z poziomu satysfakcji badanych. Praca badacza zaczyna się dopiero przy analizie danych jakościowych – komentarzy do wykonywanych zadań w formie pytań otwartych oraz obserwacji zachowań użytkowników. O ile się nie mylę, UserZoom umożliwia również nagrywanie video z każdej sesji, dzięki czemu badacz ma później podgląd zachowania użytkownika w trakcie wykonywania zadania.

Więc na pierwszy rzut oka powiedziałabym, że to fajne narzędzie, o ile ma się czas na obejrzenie przynajmniej części nagrań. Ale wróćmy do badania serwisów wyborczych.

Metoda

W badaniu Symetrii wzięło udział 150 osób, głównie w wieku od 18 do 35 roku życia, z wyższym wykształceniem, spędzających ponad 24h tygodniowo w sieci. Myślę, że to dobra próbka do badania użyteczności serwisów wyborczych.

Szkoda, że zabrakło informacji czy respondenci znali badane serwisy, czy byli na nich po raz pierwszy.

Zabrakło również opisu planu badania – wewnątrz osób czy między osobami? Badany wykonywał zadania na jednym serwisie czy na kilku? Na podstawie własnych doświadczeń mogę przypuszczać, że na jednym. Oznaczałoby to, że każdy serwis został przebadany z około 25 osobami (tej informacji też nie ma w raporcie).

Zadania

Zgadzam się z autorami raportu, że pokrywały najważniejsze obszary serwisu wyborczego (program partii, kandydaci, aktualności). Jednak moim zdaniem (i nie tylko moimtreści zadań nie odzwierciedlały typowych scenariuszy użycia serwisu, były zbyt mało realistyczne. Domyślam się, że zadania zostały tak skonstruowane w celu przyspieszenia analizy wyników (prosta weryfikacja poprawności wykonania zadania przez pytanie zamknięte). Ja jednak postawiłabym na większą naturalność kosztem trochę bardziej czasochłonnej analizy.

Zadanie 1: „Sprawdź, ile stron liczy cały Program Partii w dokumencie PDF.”

W moim odczuciu bardziej rzeczywiste byłoby znalezienie w programie stanowiska partii na konkretny temat (np. polityki rodzinnej). Efekt zadania byłby podobny (znaleźć program i sprawdzić w nim jakąś informację), jednak zminimalizowałoby to poczucie sztuczności zadania i sztywności całej sytuacji badawczej. Poprawność wykonania zadania można by sprawdzić np. numerem strony programu, na której znajduje się dany rozdział.

Zadanie 2: „Sprawdź, jakie jest imię i nazwisko kandydata(ki) nr 5 do Sejmu na liście w Toruniu (woj. Kujawsko – Pomorskie).”

Kto szuka nazwiska kandydata po numerze na liście? No mało prawdopodobne. Zdecydowanie częstszym scenariuszem jest sprawdzenie kogo z danej partii mogę poprzeć w wyborach – czyli sprawdzam listę kandydatów z mojego okręgu, zapoznaję się z nimi, wybieram jednego. Jak sprawdzić poprawność? Przed zadaniem badany podaje miasto. Po zadaniu – imię, nazwisko i numer kandydata na liście. Możemy zadać dodatkowe pytanie czy szukał szerszych informacji o kandydacie (np. biografii) jeśli tak, wiemy że warto przejrzeć nagranie video i zobaczyć jak to zrobił.

Zadanie 3: Pytanie sprawdzające możliwość znalezienia konkretnej informacji/aktualności na stronie danej partii. Przykładowo: „Sprawdź, Ilu procentowe bezrobocie wśród absolwentów podano w wiadomości opublikowanej 25 września 2011 roku”.

Uważam, że podanie w treści zadania daty newsa powoduje automatyczne przełączenie się badanego na sposób poszukiwania po dacie właśnie, a nie bardziej naturalnie – po temacie. W treści powyższego zadania nawet nie wiem jaki jest temat newsa. Ja zrobiłabym odwrotnie – zadaniem było by znalezienie relacji z konkretnego wydarzenia (np. rozdawania ulotek polityków PO przed metrem Centrum). Podanie daty publikacji byłoby pytaniem weryfikującym.

Analiza

Dane ilościowe

Użyteczność każdego serwisu mierzono za pomocą trzech wskaźników: czasu realizacji zadania, satysfakcji (pytania oceniającego po każdym zadaniu) oraz ilości osób kończących zadanie sukcesem. Z powyższych został wyliczony wynik użyteczności – szkoda tylko, że nie napisano w jaki sposób. Ale obawiam się, że to tajemnica dzielona tylko z UX Alliance.

Do końcowych wyliczeń wzięto pod uwagę wartości względne, tzn. jako miarę 100% (pełna realizacja) przyjęto wynik tzw. lidera – strony partii, na której zadanie było realizowane najlepiej.

To niestety jest dla mnie niejasne. W zadaniu 1 najwyższy wynik to 97%, w zadaniu 2 – 93%, w 3 – 100%. Ale czy w związku z powyższym założeniem lider nie powinien mieć 100%? Jeżeli najlepszy serwis (wybory.platforma.org) ma 97%, to jak wygląda ten ideał, do którego zabrakło Platformie 3%? Przydałby się jaśniejszy opis tworzenia procentowego wyniku użyteczności.

W tabelach pod każdym zadaniem prezentowany jest „Wynik końcowy dla zadania”. Dodatkowo w raporcie pojawiają się jeszcze inne dane procentowe, które wprowadzają dodatkowe zamieszanie – poziom satysfakcji i procent osób kończących zadanie.

…97% użytkowników poradziło sobie z odnalezieniem programu.
…realizacja zadań przyniosła satysfakcję na poziomie 88%.
…w obydwóch serwisach 78% badanych z powodzeniem zrealizowało postawione zadania.

Dlaczego pojawiają się tylko czasy wykonania zadania i uwagi do wybranych serwisów, podczas gdy o innych nie ma ani słowa? Dlaczego średni czas wykonania zadania na każdym serwisie nie jest prezentowany w formie wykresu pod każdym zadaniem? Dlaczego nie ma też wykresów pokazujących poziom satysfakcji?

Dane jakościowe

Zaprezentowane dane jakościowe też nie powalają. W zadaniu 1 pokazany jest tylko link do programu wyborczego na stronie PiS, nie ma jednak informacji jak wygląda odnalezienie programu wyborczego na stronie PSL czy SLD, które wypadły najgorzej. W zadaniu 2 już lepiej – oprócz pokazania rozwiązania na najlepszym serwisie, mamy też wskazane minusy najgorszego – choć nadal brak chociażby słowa o serwisach ze środka tabeli. W zadaniu 3 też tylko po jednym przykładzie pozytywnym i negatywnym, bez głębszej analizy.

Mam wrażenie, że to trochę mało obserwacji jak na 6 przebadanych serwisów i 150 respondentów. Niby mamy dodatkowy rozdział „Najczęściej popełniane błędy”, jednak to tylko kropla w morzu potrzeb.

Do każdego serwisu i każdego zadania brakuje odpowiedzi na najważniejsze pytania:

  • Jak wygląda prawidłowy sposób wykonania zadania?
  • Jakie problemy napotykali respondenci?
  • Co jest dobrze zaprojektowane i ułatwia osiągnięcie celu?

Ogólna opinia

Po przeczytaniu raportu mam duży niedosyt. Niestety dość wyraźnie czuć, że powstał w 24h. Poza wskaźnikami użyteczności każdego serwisu, nie ma prawie żadnych innych informacji. Odnoszę wrażenie, że porządna analiza ekspercka byłaby bardziej wartościowa.

Żeby nie było – podziwiam Symetrię za ilość publikowanych raportów i ich pomysły badawcze (m.in. serwisy banków, sklepy internetowe, captcha). Jednak ten raport jest zdecydowanie ich najsłabszym.

Credits: photo by Solo