Dit is een oud artikel dat ik in 2010 geschreven heb. Het is niet een stuk waar ik vaak naar refereer zoals bij de Gestalt theorie, maar het helpt me er aan herinneren dat ik meer interesse heb in testen.

De usability test is al ouder dan je zou denken, de eerste keren werd er namelijk geen website maar een besturingssysteem getest. In 1981 werd de Apple Lisa (een personal computer) getest* door familie en vrienden van de manager van het project. Bijna 30 jaar verder staat Apple nog steeds bekend als een bedrijf dat gebruikersvriendelijke software maakt.

(Al is mijn ervaring dat dat ook stukje bij beetje minder wordt, helaas.)

Desondanks is de gebruiksvriendelijkheid op websites nog vaak ver te zoeken doordat iedereen met een computer een website kan maken.

In de afgelopen jaren is de gebruiksvriendelijkheid en ergonomie uitgegroeid tot een apart vakgebied met gespecialiseerde adviesbureaus. Maar zoals de beschikbare informatie op het internet stimuleert om steeds meer dingen zelf te doen, waaronder het maken van websites, willen er ook steeds meer mensen zelf gaan usability testen. Daardoor zijn er ook methodes ontwikkeld waar geen uitgebreid testlab voor nodig is, sommigen nog minimalistischer dan de ander. De vraag is: “Wat is de beste methode?”

Usabilitylab methode

De professioneel ogende labmethode om te usability testen is voortgekomen uit de methode voor observaties die iedereen kent van misdaad series waar de testpersoon in een leeg kamertje wordt geobserveerd door een drietal mensen aan de andere kant van een één-weg-spiegel. Bij wetenschappelijke testmethodes is het van belang om kwantitatieve testgegevens te verkrijgen die niet beïnvloed zijn van buitenaf; wanneer een defect niet kan worden herhaald is het defect een toevalstreffer of beïnvloed van buitenaf en dus is het niet van belang voor het onderzoek. De uitkomst van een test als deze levert vrijwel altijd een gedetailleerd rapport op, maar ze weten nou in ieder geval dat 75% van de bevolking op een bepaalde manier gedraagt als ze in een leeg hokje worden gezet.

De usability test is ten opzichte van een wetenschappelijk onderzoek heel erg anders. Bij een usability test zijn we niet op zoek naar iets wat werkt, maar juist naar de dingen die niet werken. Elk probleem is er één en elk probleem dat opgelost wordt kan voorkomen dat een klant naar de concurrent gaat. Want de concurrent is slechts één klik verwijderd van je eigen website, wat gebruikersvriendelijkheid en klantvriendelijkheid nog veel belangrijker maakt op het web dan in een winkel of kantoor in de stad.

Voorbereiding

Bij het gebruik van een usabilitylab is het hebben of regelen van dat lab ook een deel van de voorbereiding. Als de usabilityexpert vanaf het begin meewerkt aan het ontwerp van de website zou deze de doelgroep moeten kunnen omschrijven en kunnen aangeven wat het doel van de website is. Met het doel van de website zijn er een aantal taken die een gebruiker moet kunnen uitvoeren. Deze hoofdtaken moeten goed uitvoerbaar zijn op de website en worden dus de opdracht die de testpersoon mag proberen uit te voeren tijdens de test. Voor de juiste formulering van de opdrachten zijn bepaalde richtlijnen, maar aangezien die niet verschillen tussen de verschillende methodes staan die nu niet ter discussie.

Doordat de kosten van het huren of het opzetten van zo’n lab vrij hoog liggen is het zaak om veel mensen op één dag te testen om die kosten er uit te kunnen halen. Een minimum van acht** mensen zullen er dan geworven worden, liever meer om meer problemen te kunnen achterhalen.

Testpersonen

De van oorsprong wetenschappelijke methode vraagt testpersonen die in de doelgroep passen. Dat verkleint de groep met mogelijke testpersonen aanzienlijk, maar zorgt er ook voor dat de testpersonen de eventueel gebruikte vaktermen begrijpen. Een nadeel is dat het niet altijd de doelgroep is die op een website terecht komt. Zo kan het bijvoorbeeld zijn dat een blinde man een autovakantie boekt omdat hij nou eenmaal degene is die dingen regelt ondanks dat zijn vrouw de auto zal besturen.

Set-up

Medewerkers

Door het aantal testpersonen en de beperkte tijd is de doorstroming van testpersonen van groot belang. Er zijn daarom minstens drie mensen nodig om de test uit te voeren; een gastheer of gastvrouw die de testpersonen ontvangt en instrueert over de gang van zaken voordat ze de testruimte binnen gaan. De facilitator (meestal de usability expert) lijdt de test in het lab, hij zorgt dat de testpersoon zich op zijn gemak voelt, geeft de testpersoon de gedetailleerde instructies en geeft aan wanneer de testpersoon zijn doel heeft behaald. Als laatste moet de observator aan de andere kant van de spiegel de testpersoon kunnen zien en analyseren.

Daarnaast zijn er altijd mensen die er bij willen zijn, medewerkers wiens ontwerpen worden getest, marketeers die willen weten of hun ideeën aanslaan en managers die willen weten of ze wel waar krijgen voor hun geld. Al die mensen moeten achter de spiegel blijven zitten en mogen niet gehoord worden door de testpersoon. Dat klinkt alsof al die mensen geen vertrouwen hebben in de test, dat hebben ze wellicht ook niet, maar dat is geen probleem. Als ze de test zien hoeft de expert niet meer uit te leggen waarom deze testen zo belangrijk zijn. Zien is geloven.

Ruimte

Rechts is een afbeelding te zien van de labopzet die NASA gebruikt voor zijn testen. Er staan twee computers aangegeven, een voor de testpersoon en een voor de observant. De observant kan hier op zijn scherm zien wat de testpersoon precies doet. Daarnaast staan er camera’s gericht op de testpersoon zelf, om de lichaamstaal te kunnen registreren en op het gezicht van de testpersoon zodat gezichtsuitdrukkingen (ergernis of verrassing) geregistreerd kunnen worden. Al het opgenomen materiaal wordt opgeslagen zodat het later bekeken en geanalyseerd kan worden.

Tussen de observatieruimte en de testruimte zit een één-weg-spiegel zodat er meerdere observanten mee kunnen kijken zonder dat er meer of grotere beeldschermen aangeschaft hoeven te worden of zonder dat de testpersoon zich erg op de vingers gekeken voelt. Een belangrijk aspect van de spiegel is dat een observant dan ook buiten het kader dat de camera’s geven kan kijken.

Eyetracking

Usabilitytesten kan nog gedetailleerder door gebruik te maken van eyetracking. Hiernaast is het resultaat te zien van een korte eyetracking sessie. De testpersoon krijgt een bril op met daar op één of meerdere camera’s gemonteerd die de beweging van de ogen registreert. De afbeelding rechts*** laat zien hoeveel microseconden de testpersoon met zijn ogen op die plaats is blijven hangen. Deze methode om er achter te komen waar een testgebruiker naar kijkt is vooral in de marketing heel nuttig. Er kan zo bijvoorbeeld in kaart worden gebracht waar een persoon naar kijkt in een advertentie en of het logo wel goed genoeg bekeken wordt.

Eyetracking kan bij het usabilitytesten in kaart brengen waar een testpersoon moeite mee heeft. Bijvoorbeeld wanneer een woord niet duidelijk is, zal de testpersoon dat woord meerdere keren lezen en dus blijven de ogen langer op dat punt hangen.

Afronding

Bij ieder wetenschappelijk verantwoorde test hoort een testrapport dat aan een ISO norm voldoet. Voor een usability testrapport is dat: ISO 25062:2006. Een testrapport volgens de ISO norm bevat heel erg veel details en moet op zijn minst deze onderdelen bevatten;

Een titelpagina met daar op onder andere: wanneer de test is gedaan, wanneer het rapport was voorbereid en wie het rapport heeft gemaakt.

• Een managementsamenvattig.
• Complete productomschrijving van de te testen software
• Welk onderdeel van het product wordt getest en waarom.
• De testpersonen: het aantal, sleutel eigenschappen, hoe ze zijn geselecteerd en hoe ze verschillen van de doelgroep.
• De taken voor de testpersonen.
• De testomgeving: hoe de ruimte is opgezet, welke hulpmiddelen de facilitator gebruikt en welke apparatuur er wordt gebruikt met details over: Welk besturingssysteem, eigenschappen van de beeldscherm(en) en de gebruikte audio apparatuur.
• Procedure vanaf dat de testpersoon binnenkomt tot aan dat die weer naar huis gaat. Daar onder valt ook het contract waar in staat wat er mag gebeuren met opgenomen materiaal.
• Resultaten; compleet met statistieken over hoe lang de testpersoon over de taak deed, of hij deze heeft voltooid en hoe efficiënt hij deze heeft voltooid (heeft de testpersoon een omweg gemaakt).
• Analyse van de resultaten.

De bovenstaande lijst is al vrij lang terwijl deze ernstig is samengevat. Het resultaat is een rapport waar niemand van kan zeggen dat het ongeldig is, verkeerd geïnterpreteerd of dat het niet voldoet aan de eisen. Één van de belangrijkste redenen om een ISO norm te gebruiken is dat een medewerker maar één standaard hoeft te leren terwijl hij voor meerdere klanten en/of werkgevers rapporten moet maken. Ook is de herkomst van een bepaalde conclusie gelijk aanwezig in hetzelfde document.

Krug’s methode

Steve Krug zegt bovenal dat als je budget een professional kan veroorloven, dat je dat dan vooral moet doen. Hij raadt dus in zekere zin zelf de klassieke methode aan. Zijn methode is ontwikkeld voor die bedrijven en mensen die geen specialist kunnen betalen, want hoe je het ook doet, usabilitytesten vindt hij van groot belang. Hij gaat daarbij terug naar de kern van het testen; wat is nou eigenlijk het doel?

“Watching people try to use what you’re creating/designing/building (or something you’ve already created/desinged built), with the intention of (a) making it easier for people to use or (b) proving that it is easy to use.”****

Krug’s methode kenmerkt zich door meer te focussen op het doel en niet te werken naar een waterdicht document waar niemand een speld tussen kan krijgen. De resultaten zijn oplossingen voor de problemen en de realisatie daarvan en weinig documentatie. Daar zit wel de voorwaarde aan dat er zoveel mogelijk medewerkers mee moeten kijken tijdens de test, dus er zijn meer mensen bij betrokken.

Voorbereiding

Bij de budgetmethode van Krug is er geen speciaal lab nodig, maar er moet wel een rustige afgesloten ruimte zijn waar een testpersoon rustig achter de computer kan zitten en niet afgeleid wordt. Deze methode vraagt wel om een observatieruimte, maar die hoeft niet direct naast de te testruimte liggen. Liever niet zelfs, om te voorkomen dat eventueel gefrustreerde geluiden van de medewerkers de deelnemersruimte bereikt. De reden dat de kans zo groot is dat het geluid doordringt in de andere ruimte is omdat Krug zegt: “Make it a spectator sport”***** en “Seeing is believing”. Oftewel een deel van de voorbereiding is het regelen van zoveel mogelijk medewerkers die meekijken, met nadruk op de mensen die een deel van de ontwikkeling doen, medewerkers zoals de manager die overgehaald moeten worden en de zeurpiet van de afdeling.

De taken die de testpersoon moet uitvoeren verschillen niet van de labmethode, zoals eerder gezegd. In principe maakt het voor de testpersoon helemaal niks uit welke methode er wordt gebruikt, hij of zij moet dezelfde taken uitvoeren en er zit één persoon naast. Doordat de kosten van deze methode een stuk lager liggen is het spreiden van de testen goed mogelijk en kunnen er zo meerdere kleine testen gedaan worden, verspreidt over de ontwikkeling van het product.

Testpersonen

Waar de labmethode duidelijk aangeeft dat de testpersonen binnen de doelgroep moeten vallen, stelt de moderne methode dat dat niet nodig is. Een website wordt niet altijd alleen door de doelgroep bezocht en de doelgroep is niet altijd wat het lijkt. Met name bij vaktermen is dat te merken, zelfs binnen Nederland kunnen vaktermen verschillen per bedrijf en kan het dus voorkomen dat iemand die wel binnen de doelgroep valt door een gebruikte term op een website niet begrijpt. Ook wordt er vaak vergeten dat iemand die net nieuw is in de doelgroep of het vakgebied, hoogstwaarschijnlijk ook nog niet thuis in de gebruikte termen.

Er wordt aangeraden om per test drie personen de taken te laten uitvoeren. Als er tijdens het testen grotere problemen zijn zullen de testpersonen steeds blijven hangen op die grotere problemen en onderliggende problemen zullen dan niet aan het licht komen. Door meerdere keren te testen, maar met minder personen wordt er minder tijd verbruikt wanneer testpersonen steeds weer dezelfde problemen blootleggen en worden er meer problemen blootgelegd doordat blokkerende problemen tussen de testen door worden opgelost.

Kort gezegd komt het er op neer dat iedereen gebruikersvriendelijkheid problemen aan het ligt kan brengen, elke probleem is er één en niemand zal zeggen: “Deze website is te makkelijk te begrijpen.”

Set-up

Medewerkers

Ondanks dat er per testronde maar drie personen aan de test deelnemer is een gastheer of –vrouw wel aan te raden. Deze kan de binnenkomende testpersonen verwelkomen en op hun gemak stellen terwijl de facilitator zorgt dat alles op orde is in de testruimte en een assistent die de medewerkers in de observatieruimte voorbereid op de gebeurtenissen en die waar nodig tussen de verschillende gebieden communiceert: de wachtruimte met de testpersonen, de observatieruimte met medewerkers en de testruimte met de facilitator. Een specifiek aangestelde observator is niet nodig, omdat de groep medewerkers observeren en de facilitator later de leiding neemt bij de debriefing. Wel moeten de medewerkers de problemen die ze zien noteren voor de debriefing later.

Apparatuur

Als het goed is zitten er een aantal medewerkers in een observatieruimte elders in het gebouw of misschien zelfs wel elders in het land. Deze medewerkers moeten mee kunnen kijken en luisteren met wat de testpersoon doet, hier is screensharing software voor nodig. Hier zijn vele pakketten van op de markt, sommigen zijn gratis, voor anderen moet er betaald worden. Vanzelfsprekend zijn de betaalde pakketten vaak uitgebreider.

In de observatieruimte moet de testpersoon en facilitator duidelijk te horen en te zien zijn, soms kan een groot scherm met een beamer de uitkomst bieden om er voor te zorgen dat iedereen alles goed kan zien. Ook het geluid moet duidelijk over komen anders kan het zijn dat de observanten niet alles goed meekrijgen.

Als laatste, maar wel het belangrijkste, is de computer waar de testpersoon achter zit. Deze is niet anders dan bij de labmethode, maar is in het vorige hoofdstuk niet genoemd omdat alle andere apparatuur deze overstemt. De computer heeft één bijzonderheid: hij moet zo normaal mogelijk zijn. Een normale twee-knops muis, een simpel toetsenbord en een beeldscherm van gemiddeld formaat. Als je zelf programmeur of designer bent vergeet je al snel dat een 30 inch beeldscherm in de meeste huishoudens niet standaard is en dat zelfs een derde muisknop als ongewoon een geavanceerd kan worden ervaren. Dit soort dingen kunnen de testpersoon van zijn stuk brengen waarna alles niet zo soepel meer gaat.

Afronding

Bij de afronding zit het grootste verschil tussen beide methodes. Krug maakt geen rapport van het geheel. Nadat de laatste testpersoon weg is begint de debriefing. Het liefst tijdens een lunch met alle mensen die de testpersonen de taken hebben zien uitvoeren. Tijdens die lunch moet iedereen de drie ergste problemen die ze hebben gezien opnoemen, waarna ze genoteerd worden op een flip-over of whiteboard. Als iedereen zijn drie problemen heeft genoemd moet er een top tien gemaakt worden en kan er voor elk probleem een zo simpel mogelijke oplossing bedacht worden. Krug zegt specifiek zo simpel mogelijk omdat “de beste” oplossing vaak niet wordt gerealiseerd,****** het is de bedoeling dat de problemen binnen een maand worden opgelost zodat ze klaar zijn voor de volgende testronde.

Op deze manier weten alle betrokkenen wie wat gaat doen de komende maand en zijn er geen uren nodig om een rapport te maken om de manager of directeur duidelijk te maken dat er wat gedaan is.

Conclusie

In de inleiding werd de vraag gesteld: “Welke methode is de beste?” De verschillen tussen beiden methodes maken al duidelijk dat de moderne methode goedkoper en efficiënter is om uit te voeren terwijl de traditionele methode grondiger is in de afronding en effectiever is als hoger geplaatste mensen in het bedrijf overtuigd moeten worden.

Ik heb in de praktijk gezien hoe een usabilitytest een openbaring kan zijn en voor verassingen kan zorgen, “zien is geloven” is zeker van toepassing. Echter heb ik ook gemerkt hoeveel werk er kan gaan zitten in de rapportage terwijl een debriefing binnen een paar uur iedereen geïnspireerd aan het werk kan zetten.

Het optrommelen van zo veel mogelijk medewerkers om te komen kijken en debriefen naderhand zou een hele opgave kunnen zijn in menig bedrijf, maar het resultaat zou moeten lonen.

Maar naast de genoemde aspecten van beide methodes is er nog een belangrijk punt; namelijk de situatie. De traditionele methode is te verwachten in een bedrijf dat als hoofddienst heeft om usabilitytesten uit te voeren voor anderen en de moderne methode wordt hoogstwaarschijnlijk gebruikt door een designer die de boeken van Krug heeft gelezen. De meest ideale situatie zou een bedrijf zijn die de moderne methode uitvoert samen met de ontwikkelaars van het te testen product, maar die ook nieuwe oplossingen onderzoeken met de geavanceerde methodes zoals eyetracking.

Bronnen

*: Folklore.org: Macintosch Stories: Do it – http://www.folklore.org/StoryView.py?project=Macintosh& story=Do_It.txt&sortOrder=Sort%20by%20Date&detail=medium&search=user%20testing (15-04-2010)
**: Krug, Steve. (2006). Don’t make me think! Berkeley: New Riders. Pagina 137.

***: Luke Wroblewski. Web Form Design in Action. (08-12-2009). Presentatie http://www.lukew.com/presos/

****: Krug, Steve. (2010). Rocket Surgery Made Easy Berkeley: New Riders. Pagina 13.

*****: Krug, Steve. (2010). Rocket Surgery Made Easy Berkeley: New Riders. Pagina 91.

******: Krug, Steve. (2010). Rocket Surgery Made Easy Berkeley: New Riders. Pagina 111.