Statistikk og sånn

Etterspørselen etter kundeinnsikt øker jevnt hos oss. Det skjer i takt med at flere i organisasjonen vet hva det er og innser viktigheten av å forstå kundebehov. Dette er kjempebra! Men midt i strømmen av kakediagrammer og kundeintervjuer har vi måttet stoppe litt opp og spørre oss selv: hvordan kan vi vite om dataene vi samler inn er til å stole på?

Hvor mange må jeg spørre? Svaret er alltid så få som mulig, for i en IT-verden rigget for scrum, kanban og raske releasesykluser har vi alltid dårlig tid. Vi UX-folk gjør derfor ofte raske undersøkelser med ganske få respondenter. Dette er helt ok når vi bruker kvalitative metoder som brukertester eller intervjuer, men når vi forsøker å bekrefte eller avkrefte hypoteser om en større målgruppe kan dette bli et problem.

Vi leter etter noe (hva som helst) som kan være med på å underbygge valgene vi tar. Men hva er gode nok data når konsekvensene av å ta feil kan regnes i millioner? Hva er bare superenkel forskning, som de sier i reklamen? Vi vet at det har med statistikk å gjøre, men signifikans, konfidensintervaller og p-verdier høres fryktelig komplisert ut.

Det semesteret jeg lærte om statistikk på NTNU var ikke mitt beste. Jeg hadde kyssesyken hele høsten og endte til slutt opp med dårligste ståkarakter. 12 år senere er det meste glemt, slik det ofte er med emner man har studert men ikke bruker. Til slutt sitter du kanskje bare igjen med en vag visshet om at emnet finnes og at det går ut på ting du egentlig aldri mestret.

Men den vissheten i seg selv er langt fra verdiløs.

Det var mens jeg så gjennom en kundeundersøkelse med litt vel bombastiske funn at den nagende følelsen av tapt ubrukt kunnskap kom tilbake. Noe om at usikkerhet i statistikk kan regnes ut hvis man bare finner riktig formel å putte tallene sine inn i.

Men hvis det finnes en formel, så har kanskje en driftig sjel på internett laget en kalkulator?

Med Power Point-rapporten foran meg begynte jeg å jakte på formler. Det var ikke så vanskelig som jeg trodde, og etter noen minutters leting satt jeg med et sjokkerende funn. Ifølge en utregning som kalles adjusted-wald binomial confidence interval var usikkerheten i deler av undersøkelsen oppe i 30%. Det ville si at vi ikke kunne vite om 40% eller 70% av kundene våre var enige i en gitt påstand. Forskjellen mellom et klart mindretall og et overlegent flertall, altså.

Årsaken var at man hadde spurt altfor få personer til å kunne framstille funnene som kvantitativ innsikt. Dersom du kun har tilgang til et lite antall personer i målgruppen må du stille andre spørsmål, og du må bruke svarene på en annen måte. Med et lite antall personer får man mer ut av en samtale om hvordan de tenker rundt ulike temaer enn å spørre dem om de foretrekker A eller B, rød eller grønn, mobil eller nettbrett. I slike situasjoner er det lurt å ligge langt unna tall, for om 4 av 6 sa eller gjorde noe sier oss egentlig ingenting.

Når du trenger å tallfeste noe må du spørre mange, og du må spørre de riktige menneskene. Det finnes dessverre ingen annen utvei. Lyspunktet er at vi kan regne ut sånn ca. hvor mange du trenger for å være rimelig sikker.

Men helt sikker blir du aldri, så det gjelder å ha et bevisst forhold til hva usikkerheten betyr for beslutningene du har lyst til å ta. I tillegg har du kanskje bare målt et aspekt ved en problemstilling eller et design. Kan inntrykket som brukeren sitter igjen med fullt og helt oppsummeres i hvor mange sekunder det tok å gjennomføre en bestilling? Eller om ett triggerord konverterer bedre enn et annet? Hva med en rangering på en skala fra 1 til 5? Eller 1 til 7, kanskje? Jeg tror ikke det.

Diskusjonen om hvordan vi skal måle brukeropplevelse i SpareBank 1 er langt fra over, men uansett er vi enige om at det aldri er feil å samle kundeinnsikt. Du må bare framstille funnene dine på en ærlig måte som står i stil med metoden du har brukt.

Christoffer Arendt Aune, Interaksjonsdesigner