Z ciekawości wzięłam udział w badaniu, aby zobaczyć jak to jest być „po drugiej stronie”. I  było… dziwnie. Na pewno nie korzystałam z serwisu tak, jak przeglądałabym „dla siebie” np. listę kandydatów. Skupiałam się mocno na tym, aby poprawnie wykonać mało naturalne zadanie („kujawsko-pomorskie, kujawsko-pomorskie, Toruń, nr.5, kujawsko-pomorskie”), wymagające jeszcze zapamiętania informacji, która tak naprawdę mnie nie interesuje (imię i nazwisko kandydata z kujawsko-pomorskiego). Na domiar złego trafiło mi się sld.org.pl – przy braku determinacji, w normalnych warunkach, dawno uciekłabym z takiego serwisu.

Chwila dygresji – UserZoom

Ale muszę przyznać, że UserZoom jest dość przyjazne w użyciu. Wyświetla cały czas treść zadania na dole przeglądarki a użytkownik sam decyduje, kiedy zakończyć zadanie – za pomocą stale widocznych przycisków „zakończone z sukcesem” i „poddaję się” (mniej więcej tak, w rzeczywistości przyciski nazywają się inaczej). Aplikacja umożliwia wprowadzenie po każdym zadaniu pytania walidującego poprawność odnalezionych informacji (w formie pytania zamkniętego) oraz pytanie o zadowolenie z wykonywania zadania.

Taka samoobsługa znacznie przyspiesza analizę – praktycznie od ręki dostajemy dane o ilości osób poprawnie kończących zadanie, średni czas wykonywania zadania oraz średnią z poziomu satysfakcji badanych. Praca badacza zaczyna się dopiero przy analizie danych jakościowych – komentarzy do wykonywanych zadań w formie pytań otwartych oraz obserwacji zachowań użytkowników. O ile się nie mylę, UserZoom umożliwia również nagrywanie video z każdej sesji, dzięki czemu badacz ma później podgląd zachowania użytkownika w trakcie wykonywania zadania.

Więc na pierwszy rzut oka powiedziałabym, że to fajne narzędzie, o ile ma się czas na obejrzenie przynajmniej części nagrań. Ale wróćmy do badania serwisów wyborczych.

Metoda

W badaniu Symetrii wzięło udział 150 osób, głównie w wieku od 18 do 35 roku życia, z wyższym wykształceniem, spędzających ponad 24h tygodniowo w sieci. Myślę, że to dobra próbka do badania użyteczności serwisów wyborczych.

Szkoda, że zabrakło informacji czy respondenci znali badane serwisy, czy byli na nich po raz pierwszy.

Zabrakło również opisu planu badania – wewnątrz osób czy między osobami? Badany wykonywał zadania na jednym serwisie czy na kilku? Na podstawie własnych doświadczeń mogę przypuszczać, że na jednym. Oznaczałoby to, że każdy serwis został przebadany z około 25 osobami (tej informacji też nie ma w raporcie).

Zadania

Zgadzam się z autorami raportu, że pokrywały najważniejsze obszary serwisu wyborczego (program partii, kandydaci, aktualności). Jednak moim zdaniem (i nie tylko moimtreści zadań nie odzwierciedlały typowych scenariuszy użycia serwisu, były zbyt mało realistyczne. Domyślam się, że zadania zostały tak skonstruowane w celu przyspieszenia analizy wyników (prosta weryfikacja poprawności wykonania zadania przez pytanie zamknięte). Ja jednak postawiłabym na większą naturalność kosztem trochę bardziej czasochłonnej analizy.

Zadanie 1: „Sprawdź, ile stron liczy cały Program Partii w dokumencie PDF.”

W moim odczuciu bardziej rzeczywiste byłoby znalezienie w programie stanowiska partii na konkretny temat (np. polityki rodzinnej). Efekt zadania byłby podobny (znaleźć program i sprawdzić w nim jakąś informację), jednak zminimalizowałoby to poczucie sztuczności zadania i sztywności całej sytuacji badawczej. Poprawność wykonania zadania można by sprawdzić np. numerem strony programu, na której znajduje się dany rozdział.

Zadanie 2: „Sprawdź, jakie jest imię i nazwisko kandydata(ki) nr 5 do Sejmu na liście w Toruniu (woj. Kujawsko – Pomorskie).”

Kto szuka nazwiska kandydata po numerze na liście? No mało prawdopodobne. Zdecydowanie częstszym scenariuszem jest sprawdzenie ko