08 - Badania użyteczności

Po co badania z użytkownikami?

Testy z użytkownikami przeprowadza się w celu zdobycia informacji o tym jak użytkownicy korzystają z danego produktu (w naszym przypadku - strony/portalu/serwisu WWW). Polegają one na obserwacji użytkowników podczas wykonywania zadań z przygotowanego wcześniej scenariusza.

Istotne jest, że do badań dobiera się osoby o profilu odpowiadającym rzeczywistym użytkownikom danej strony. Tworząc profil osoby badanej należy skupić się nie tylko na danych demograficznych (płeć, wiek, pochodzenie itp.), ale przede wszystkim na tym jakie są jej potrzeby/cele związane z testowanym produktem, oraz jakie są jej nastawienia wobec produktu.

Produkt można testować w każdym momencie tzw.cyklu życia produktu (ang. product life-cycle). Najlepiej jednak gdy badania zostają przeprowadzone jeszcze przed wprowadzenia produktu do powszechnego użytku. Dobrą praktyką jest testowanie prototypu. Pozwala to uniknąć niepotrzebnych kosztów, oraz zaoszczędzić czas potrzebny na wprowadzenie zmian po wypuszczeniu produktu na rynek, bądź po implementacji. Wszelkie zmiany dokonane po tym okresie zazwyczaj wymagają większych nakładów finansowych.

Moderowane testy z udziałem użytkowników

Z racji tego iż badania z użytkownikami dostarczają informacji o tym jak prawdziwy użytkownik wchodzi w interakcję ze stroną, są one uważane za najbardziej miarodajne źródło informacji o stopniu jej użyteczności. Dość często stosowaną praktyką jest wykonanie audytu eksperckiego (o którym była mowa na poprzednich zajęciach) przed przeprowadzeniem badań z udziałem użytkowników. Gruntowne zapoznanie się ze stroną pozwoli moderatorowi skuteczniej wychwycić obszary mogące sprawić kłopot użytkownikowi oraz lepiej przygotować dla niego zadania.


Należy pamiętać o tym, iż badania owe mają na celu nie tyle potwierdzenie wcześniej wykonanego raportu, co wzbogacenie go o nowe wnioski i rekomendacje. Co więcej:
  • zadania powinny być obudowane w kontekst, dzięki temu osobie badanej jest łatwiej "wczuć się" w rolę prawdziwego użytkownika,
  • zadania powinny odzwierciedlać to z jakimi potrzebami/celami osoby wchodzą na daną stronę,
  • w treści zadań należy unikać kluczowych słów np. nazw kategorii występujących na danej stronie, nie należy bowiem użytkownikowi sugerować rozwiązania (zaprezentowany poniżej filmik z sesji eye trackingowej jest dobrym przykładem na to jak nie powinno się konstruować instrukcji dla badanego).

Częstym pytaniem przy przeprowadzaniu badań jest określenie liczby osób w nich uczestniczących. Za Nielsenem podaje się często 5 osób jako wystarczającą grupę do wykrycia około 70% problemów w serwisie (http://www.useit.com/alertbox/20000319.html). Z drugiej strony późniejsze analizy tematu sugerują, że ze wzgledu na wzrost skomplikowania serwisów www, ich zasobność w elementy np. interaktywne czy skomplikowane mechanizmy nawigacyjne przyczyniły się do konieczności zwiększenia próby w celu odkrycia większości problemów w serwisie (http://www.uie.com/articles/eight_is_not_enough/ ). Kwestia ta pozostaje sporna i ostatecznie o liczbie badanych decydują często względy biznesowe. W celu wychwycenia jak największej ilości usterek przy zachowaniu kontroli nad budżetem stosuje się często testy iteracyjne - w mniejszych grupach, ale za to w kilku seriach, między którymi zostaną poprawione wychwycone wcześniej błędy.

Z racji dostępności wielu artykułów, które omawiają korzyści płynące z przeprowadzania tego typu badań (oraz podają wskazówki odnośnie samej metodologii przeprowadzania badań), odsyłamy do poniższych źródeł:

Jednym z najpopularniejszych programów ułatwiających przeprowadzanie moderowanych badań z udziałem użytkowników jest produkt firmy Techsmith - Morae. Rozwiązanie to pozwala pozyskać dane odnośnie interakcji użytkownika ze stroną (kliknięcia myszą, przejścia pomiędzy stronami, etc.), odpowiednio je opracować, a następnie zwizualizować. Do każdego nagrania można dołączyć obraz twarzy użytkownika wraz z zapisem sesji w audio. Tak zebrane informacje możemy obrobić, w zależności od naszych potrzeb.

Bardziej dociekliwi mogą zapoznać się z tutorialem dla Morae dostępnym (w języku angielskim) na stronie producenta:

Różne warianty badań moderowanych: badania eye-trackingowe:

Badania z udziałem użytkowników można wspomóc wykorzystując w tym celu urządzenie jakim jest eye tracker. Eye tracking (po polsku zwany również okulografią) jest zbiorem technik badawczych pozwalających na uzyskanie informacji odnośnie ruchu oka – położenia w danym przedziale czasowym oraz (ewentualnym) punkcie fiksacji wzroku. Dane pozyskane w ten sposób mogą zostać wykorzystane np. podczas prowadzenia badań z zakresu:

  • użyteczności interfejsów,
  • czytania tekstu,
  • skuteczności przekazu reklamowego.

Dzięki eye trackerowi jesteśmy w stanie uzyskać dodatkowe informacje o tym:

  • gdzie użytkownik patrzy,
  • jakie elementy sprawiają mu problem (dla tych elementów można np. zaobserwować dłuższe czasy fiksacji),
  • jakie elementy są zauważane jako pierwsze, które przyciągają najwięcej uwagi, a które są ignorowane.


Dzięki eye trackerowi jesteśmy w stanie uzyskać dodatkowe informacje na temat wzrokowej interakcji użytkownika ze stroną (np. które elementy na stronie były widziane, ale nie zostały zauważone). Podkreślić należy fakt, iż wyniki uzyskane tą metodą powinny być interpretowane wyłącznie przez specjalnie w tym celu przeszkolony personel.

Ciekawym zjawiskiem jakie można zaobserwować dzięki badaniom eye trackingowym jest tzw. "banner-blindness", czyli ślepota bannerowa (http://en.wikipedia.org/wiki/Banner_blindness). Okazuje się użytkownicy mogą podświadomie ignorować na stronach elementy reklamowe, bądź przypominające reklamy (migające, o rażących kolorach, itp.).

Więcej informacji o metodzie eye trackingu można uzyskać odwołując się do źródeł:

Różne warianty badań moderowanych: Post-its and Affinities

W tym wariancie badanie użyteczności obserwowane jest przez osoby reprezentujące zespół tworzący testowane oprogramowanie (informatycy, project manager, klient, projektant intefejsów użytkownika…). Obserwatorzy widzą nagranie z badania, bądź też obserwują je zza lustra weneckiego. Ich zadaniem podczas badania jest notowanie zaobserwowanych błędach na "sticky notes". Zaraz po badaniu osoba prowadząca badanie użyteczności wraz z zespołem dokonują jego analizy: wszystkie karteczki z notatkami są układane obok siebie, każdy z zespołu się im przygląda jeśli zauważy dwie kartki opisujące ten sam błąd przenosi je na tablicę gdzie tworzy i nazywa nową kategorię błędów bądź też dodaje karteczki do pozostałych. Uczestnicy analizy nie mogą krytykować siebie nawzajem ale mogą zmieniać układ na tablicy z kategoriami. Grupowanie trwa aż do momentu gdy żaden błąd nie zostanie bez kategorii. Następnie następuje dyskusj, a wyróżnionym kategoriom zostają nadane priorytety. W oparciu o te wyniki specjalista od użyteczności dokumentuje wyniki i wysyła je do zainteresowanych osób (developerów).
Zaletą tegp typu badania jest brak konieczności przekonywania zespołu do wyników testów użyteczności, ponadto raport z testów jest skrócony do minimum i zrozumiały dla osób zainteresowanych.

Różne warianty badań moderowanych: Rapid Iterative Prototypying Evaluation

Metoda ta od tradycyjnych testów użyteczności różni się położeniem nacisku na szybkość wprowadzania zmian w oparciu o badania oraz natychmiastową weryfikację czy zaproponowane zmiany rozwiązują problemy. Tę odmianę badania przeprowadza się często na prototypie ponieważ zmiany w interfejsie użytkownika mają być wprowadzane w przerwach między badaniami użytkowników. Jeżeli wprowadzenie poprawki jest oczywiste już po pierwszej sesji z użytkownikiem - zmiany wprowadzane są natychmiastowo. Kolejni uczestnicy pokażą czy zaproponowane poprawki rozwiązują problem i uzmysłowią resztę problemów z interfejsem użytkownika.

Zdalne testy z udziałem użytkowników:

Zdalne testy użyteczności (zwane niekiedy „asynchronicznymi”) to metoda prowadzenia badań umożliwiająca ich przeprowadzenie w sytuacji gdy moderator oraz osoba badana nie mają bezpośredniego kontaktu. Tego typu badania niwelują wpływ moderatora na wynik badania, oraz często pozwalają przeprowadzić badania na większej grupie osób.

Różne warianty badań zdalnych: Niemoderowane testy z użytkownikami „na sztywno”

Zastosowanie tej metody pozwala na uzyskanie informacji o sposobie interakcji użytkownika ze stroną oraz stopniu znajdowalności (ang. findability) określonych miejsc lub poszczególnych elementów w serwisie. Osobom badanym, poprzez interaktywny „interfejs” zawarty w postaci poziomej ramki (w wyglądzie przypominającej nieco tą z serwisu wykop.pl), zostają zaprezentowane odpowiednie instrukcje. Po zakończeniu badania wszystkie informacje o użytkownikach – procent osób które ukończyły dane zadanie, liczba kliknięć, czas potrzebny na wykonanie zadań, itp. – zostają odpowiednio zwizualizowane.
Przykładowy dostawca: http://www.loop11.com

Różne warianty badań zdalnych: Automatyczne nagrywanie pracy użytkowników

Narzędzie, zaimplementowane na stronie w formie odpowiedniego skryptu, pozwala utrwalić wizytę każdego użytkownika w formie filmiku wideo. Po przejściu do panelu administracyjnego, właściciel serwisu może zobaczyć jak użytkownicy poruszają się po stronie, przyjmując ich perspektywę. Każde kliknięcie, poruszenie myszą, przewinięcie strony oraz przejście na inną podstronę zostaje zapisane.
Przykładowy dostawca: http://www.userfly.com


Narzędzia do badań on-line

Sesje moderowane\niemoderowane z udziałem użytkowników dostarczają najwięcej (jakościowych) informacji na temat stopnia użyteczności istniejących stron internetowych (bądź prototypów przyszłych stron). O tego typu badaniach będziemy mówić na następnych zajęciach.

Na tych zajęciach zajmiemy się natomiast badaniami związanymi z projektowaniem zorientowanym na użytkownika (ang. User Centered Design). Podkreślić należy tutaj fakt, iż większość podanych przykładów nie służy wyłącznie do badań usability, niemniej ich zastosowanie w procesie badawczym jest bardzo dobrym dopełnieniem moderowanych sesji z udziałem użytkowników. Poniżej opisano 8 tego typu narzędzi. Każde z nich dostarcza innego rodzaju danych, pozwalając spojrzeć na problem użyteczności z nieco odmiennej perspektywy (inne metody badań z użytkownikami "na żywo" zostaną omówione na wykładzie z KCK).

1. Statystyki
Podstawowa metoda uzyskiwania informacji o stronie/serwisie. Narzędzie z obszaru analityki sieciowej, zapewniające dokładny wgląd w ruch użytkowników na witrynie oraz skuteczność przeprowadzanych działań marketingowych. Bardzo istotną informacją uzyskiwaną dzięki statystykom jest wskaźnik odrzuceń (ang. bounce rate) definiowany przez Google Analytics jako “procent odwiedzin tylko jednej strony lub odwiedzin, podczas których osoba opuściła witrynę po zobaczeniu strony wejściowej (docelowej)“. Wysoka wartość tego wskaźnika może świadczyć o tym, że zawartość strony nie spełnia oczekiwań użytkowników. Kolejnym ważnym wskaźnikiem jest wskaźnik porzuceń, który dostarcza informacji o tym ile procent użytkowników zakończyło wizytę na danej podstronie serwisu. Jest on bardzo przydatny przy wykrywaniu błędów w formularzach. Korzystając z danych statystycznych trzeba jednak pamiętać o tym, że dostarczają jedynie informacji o tym co robi użytkownik na naszej stronie, a nie dlaczego tak się zachowuje.

Przykładowy dostawca: http://www.google.com/analytics

2. Ankieta
Ankieta jest jednym z podstawowych narzędzi wykorzystywanych w procesie badawczym zorientowanym na użytkownika (ang. user centered design). Umożliwia ona przygotowanie profesjonalnego narzędzia badawczego zarówno przez eksperta, jak i początkującego badacza. Bardzo pomocna w pozyskaniu dużej ilości danych ilościowych.

Przykładowy dostawca: http://www.surveygizmo.com

3. Monitor sugestii
Zbieranie sugestii użytkownika odbywa się poprzez krótkie ankiety, które zostają wyświetlane po kliknięciu przez internautę w odnośnik graficzny znajdujący się na stronie. Odnośnik ten może zostać umieszczony w dowolnym miejscu. Po kliknięciu, użytkownikowi zostaje wyświetlony moduł umożliwiający pozyskanie odpowiednich danych, głównie dotyczących stopnia satysfakcji podczas korzystania ze strony.

Przykładowy dostawca: http://www.getsatisfaction.com

4. Click tracking
Znakomite uzupełnienie danych uzyskanych ze statystyk. Narzędzie to jest w stanie zwizualizować w postaci mapy ciepłych miejsc (ang. heat maps) obszary na stronie, w które klikają użytkownicy. Metoda ta w przejrzysty sposób dostarcza informacji również o tym, które nieklikalne elementy na stronie (np. obiekty graficzne pełniące funkcję dekoracyjną) zostały pomylone z aktywnym odnośnikiem. Same statystyki nie są w stanie zapewnić takich informacji.

Przykładowy dostawca: http://www.crazyegg.com

5. Podgląd sesji użytkownika
Narzędzie, zaimplementowane na stronie w formie odpowiedniego skryptu, pozwala utrwalić każdą sesję użytkownika w formie filmu wideo. Upraszczając: właściciel serwisu może zobaczyć jak użytkownik porusza się po stronie przyjmując jego perspektywę. Każde kliknięcie, poruszenie myszą, przewinięcie strony oraz przejście na inną podstronę zostaje zapisane.

Przykładowy dostawca: http://www.clicktale.com

6. Testy a/b
Narzędzie umożliwia wyświetlenie dwóch wersji tej samej witryny internetowej w celu sprawdzenia, która z nich bardziej odpowiada potrzebom użytkownika oraz spełnia oczekiwania właściciela serwisu (np. poprzez dostarczenie informacji odnośnie wielkości stopnia konwersji). Największą zaletą narzędzia jest to, że pozwala ono sprawdzać design różnych wersji serwisu w realnych warunkach, podczas gdy testy z udziałem użytkowników mogą zostać przeprowadzone na stosunkowo niewielkim procencie użytkowników.

Przykładowy dostawca: http://www.abtests.com/

7. Card sorting
Narzędzie pozwala zaprezentować osobom badanym różne informacje znajdujące się na stronie (np. elementy nawigacji, tytuły podstron, tematy, produkty, ich opisy, itp.) w celu zebrania informacji o sposobie w jaki użytkownicy grupują pokazane elementy. Tak uzyskane dane pozwalają doszukać się powtarzających się wzorów w sposobie grupowania elementów, dzięki czemu dużo łatwiej jest zaplanować architekturę informacji projektowanej strony. Metoda sortowania kart została zaadaptowana z psychologii, gdzie była wykorzystywana do budowy modeli mentalnych w celu kategoryzowania zgromadzonej informacji przez badane osoby.

Przykładowy dostawca: http://www.optimalsort.com

8. Analiza kontrastu
Zautomatyzowana metoda pozwalająca na analizę elementów znajdujących się na stronie pod kątem ich kontrastu. Zastosowanie elementów o odpowiednim kontraście jest szczególnie ważne dla osób z upośledzeniem wzrokowym, ze szczególnym wskazaniem na osoby starsze. Analiza kontrastu jest bardzo istotnym elementem dla zagadnienia dostępności.

Przykładowy dostawca: http://www.accesskeys.org/tools/color-contrast.html

Przy okazji omawiania kontrastu, warto zapoznać się również z narzędziem Colorblind Web Page Filter służącym do symulacji różnych odmian ślepoty na barwy.

Prezentacja z zajęć

Prezentacja jest dostępna tutaj.

Zadanie 8

1) Przygotować scenariusz badania z 3 zadaniami
• Scenariusz powinien zawierać 3 zadania możliwe do wykonania w serwisie usos w
trakcie realizacji badania
• Ten sam scenariusz mogą wykorzystać max. 2 osoby (które stanowiły grupę w czasie
zajęć)
• Polecenia w scenariuszu formułujemy w prosty, zwięzły i zrozumiały sposób.
• Użytkownik musi wiedzieć jaki efekt ma osiągnąć
• Użytkownikowi nie podpowiadamy (Nie wskazujemy kolejnych kroków realizacji
zadania, nie używamy dokładnych nazw linków, przycisków, kategorii na stronie)
2) Przeprowadzić badanie z 2 użytkownikami
• Można badać siebie nawzajem
• Można znaleźć innych studentów do badania, nie muszą być z UAMu, ale niech będą
studentami

3) Napisać raport z badania
• W raporcie wskazujemy błędy na stronie, które doprowadziły do problemów
zaobserwowanych w ramach badania
• Pokazujemy „statystyki” – ile osób napotkało na błąd
• Nadajemy błędom wagi Krytyczny – duży – mały (można zastosować dowolną skalę 3-
stopniową, proszę ją tylko wyjaśnić w raporcie)

Raporty przesyłamy na adres moc.liamg|mau3102kck#moc.liamg|mau3102kck do piątku, 6.12 do północy.

Każdy mail powinien zawierać w tytule: nr grupy, nr zadania, nazwisko autora (np. "Grupa 5, zadanie
6, Jan Kowalski").
Punktów do zdobycia: 8.
Za każdy dzień spóźnienia odejmowany będzie 1 punkt.

Strona na licencji Creative Commons Attribution-ShareAlike 3.0. Autorzy: A. Czoska, M. Komosiński, B. Kowalczyk, A. Kupś, M. Lubawy