Statistisk signifikans nevnes relativt ofte i forbindelse med arbeid med statistikk. Derimot er det kanskje ikke alle som er like opptatt av dette når det kommer til webanalyse/digital analyse.

Statistisk signifikans er et begrep som brukes for å beskrive sannsynligheten for at noe er et resultat av tilfeldigheter. Et resultat av en statistisk analyse betegnes som statistisk signifikant dersom det er lite sannsynlig at resultatet har oppstått tilfeldig.

Terminologien “Statistisk signifikans” benyttes ofte innen optimalisering og spesielt innen A/B testing. Hvis resultatet av din A/B test ikke er statistisk signifikant, vil ikke resultatet være verdt å basere noen beslutninger på. Du kan ikke trekke slutning når grunnlaget er for lite.

Når noen spør; “er resultatene dine statistisk signifikante”, så spør de om det er sannsynlig om resultatet ikke har skjedd på grunn av tilfeldigheter.

Statistisk signifikans i praksis

Tenker du at det er best å satse alle ressursene på kampanje B, siden den har størst konverteringsrate?

Nei, det ville ikke jeg. Med tanke på at datagrunnlaget til kampanje B er på 20 besøk, er det altfor lite til å kunne være statistisk signifikant. Hadde den samme kampanjen hatt 1 besøk og 1 konvertering, ville konverteringsrate på denne vært 100%. Både du og jeg vet at det ikke er sannsynlig når datagrunnlaget er stort nok.

Ville du satset da på å investere i kampanje A fordi denne nå har høyest konverteringsrate? Er du sikker på at forskjellene mellom kampanje A og kampanje C er statistisk signifikante?

For å kunne være sikker på at forskjellen er signifikant eller ikke, må du faktisk utføre en signifikanstest (også kalt Z test) for å kalkulere “confidence” i forskjellen mellom konverteringsratene hos de to kampanjene.

Statistisk signifikans: Confidence

Confidence = (signal / noise) x √sample size

La oss si vi kommer frem til at forskjellene mellom de to konverteringsratene ikke kan konkluderes med å være statistisk signifikante. Vi kan da ikke konkludere med at kampanje C gjør det bedre på noen måte, så hvilken skal vi gå for?

Vel, det er da slik at vi trenger da å samle mer data for å kunne gjennomføre en test som tilsier at vi har statistisk signifikant resultat. På dette tidspunktet vil investering i en av kampanjene til fordel for de andre, ville være uansvarlig og feil.

Statistiske signifikante resultater

For å kunne si at vi har et statistisk signifikant resultat, trenger vi et konfidensnivå på 95%. Under dette vil ikke være tilstrekkelig.

Hvis vi går ut i fra at forskjellene mellom kampanjene A og C er 98%, betyr det at det er 98% sjanse for at resultatet ikke er basert på tilfeldigheter. Siden den statistiske signifikansen til kampanje A er høyere enn 95%, betyr det at konverteringsraten til kampanje A er bedre enn kampanje C, og ikke kun en observasjonsfeil.

Eksempel på Statistisk signifikans

Hvis vi ser i tabellen over, så ser vi at Google CPC har høyere CTR enn for eksempel Google Organic. Betyr dette da at CPC kampanjene er bedre enn organisk trafikk?

Før vi tar noen beslutning på hvilken som er best, så bør vi kalkulere den statistiske signifikansen i forskjellene mellom CPC og Organic.

I henhold til Z testen er det kun 65% sannsynlig, i forskjellene mellom konverteringsratene mellom Google Organic og Google CPC, at det ikke er bare tilfeldig. Dette betyr at det er en konfidens under 95%, hvilket betyr at det ikke forekommer noen statistisk signifikans og dermed heller ikke mulig å beslutte hvilken kampanje som fungerer best.

Vær også obs på at selv om du ikke kan kalkulere en signifikans, ikke betyr at tallet ikke er viktig. Og selv om eventuelt resultatet er signifikant, ikke nødvendigvis betyr at resultatet er viktigere enn andre tall.

Verktøy for Z test

Jeg benytter meg av en plugin i Chrome til å gjøre mye av disse beregningene for meg. Anbefaler dette verktøyet også til andre som er interessert i samme mulighet.

http://www.michaelwhitaker.com/2013/12/17/z-test-google-analytics.html