Høj svarprocent er ikke altid det samme som høj kvalitet

Svarprocenten er et af de første tal, mange ser på, når en undersøgelse er afsluttet. En høj svarprocent kan være positiv, fordi flere deltagere har bidraget. Men tallet kan ikke alene afgøre, om resultatet er retvisende eller anvendeligt.

Det afgørende spørgsmål er ikke kun, hvor mange der har svaret. Det er også, hvem der har svaret, hvem der mangler, og om spørgeskemaet har målt det ønskede på en forståelig og ensartet måde.

Hvad er svarprocenten?

I sin enkleste form beregnes svarprocenten som andelen af inviterede deltagere, der har gennemført undersøgelsen:

Beregningen kræver dog, at organisationen har styr på, hvem der faktisk var relevante og kontaktbare. Forkerte e-mailadresser, dubletter eller personer uden for målgruppen bør ikke uden videre behandles som almindelige ikke-svar.

Svarprocent og bortfaldsskævhed er ikke det samme

Bortfald opstår, når inviterede personer ikke deltager eller ikke besvarer bestemte spørgsmål. Det bliver et kvalitetsproblem, hvis de personer, der ikke svarer, adskiller sig systematisk fra dem, der svarer, på en måde, som påvirker resultatet.

Office for National Statistics beskriver, at en høj svarprocent stadig kan være forbundet med væsentlig bortfaldsskævhed, hvis respondenter og ikke-respondenter har meget forskellige svar på det emne, der måles.

Det er derfor relevant at undersøge, om deltagelsen varierer mellem eksempelvis:

• afdelinger eller lokationer,
• kundegrupper,
• medlemssegmenter,
• alders- eller anciennitetsgrupper,
• ledere og medarbejdere,
• aktive og mindre aktive kunder.

Se også på frafald undervejs

Nogle deltagere åbner undersøgelsen, men gennemfører den ikke. Det kan skyldes længde, uklare spørgsmål, tekniske problemer eller manglende relevans.

Se derfor på:

• hvor mange der begyndte,
• hvor mange der gennemførte,
• hvor i spørgeskemaet frafaldet opstod,
• hvilke spørgsmål der ofte blev sprunget over,
• og om mobilbrugere havde en anden gennemførelse end computerbrugere.

Et tydeligt fald ved et bestemt spørgsmål kan være et tegn på, at spørgsmålet er uklart, følsomt, tungt eller ikke relevant for alle.

Flere svar er ikke altid bedre spørgsmål

Et stort antal besvarelser kan ikke kompensere for et dårligt formuleret spørgsmål. Hvis deltagerne forstår spørgsmålet forskelligt, eller hvis svarmulighederne ikke dækker deres situation, kan resultatet være vanskeligt at fortolke.

Kvalitet kræver derfor også opmærksomhed på:

• klart og neutralt sprog,
• én problemstilling pr. spørgsmål,
• relevante og balancerede svarmuligheder,
• en passende referenceperiode,
• logisk rækkefølge,
• og afprøvning på personer fra den faktiske målgruppe.

Hvad er en god svarprocent?

Der findes ikke én universel grænse. En realistisk svarprocent afhænger blandt andet af relationen til målgruppen, undersøgelsens betydning, kontaktmetoden, længden, emnet og antallet af påmindelser.

En intern medarbejderundersøgelse, som ledelsen aktivt støtter, har andre forudsætninger end en frivillig undersøgelse blandt tidligere kunder. Det er derfor mere nyttigt at sammenligne med organisationens egne tidligere målinger og lignende målgrupper end at bruge ét generelt ideal.

Sådan kan deltagelsen forbedres

1. Forklar formålet. Deltageren skal hurtigt kunne se, hvorfor undersøgelsen er relevant, og hvad svarene skal bruges til.
2. Gør invitationen troværdig. Brug en genkendelig afsender, et klart emnefelt og præcis information om svarform og tidsforbrug.
3. Hold undersøgelsen fokuseret. Fjern spørgsmål, der ikke understøtter en konkret beslutning eller analyse.
4. Test på mobil. Spørgeskemaet skal være let at gennemføre på den enhed, målgruppen faktisk bruger.
5. Send relevante påmindelser. Påmindelser bør være venlige, tidsmæssigt passende og kun sendes til personer, der stadig mangler at svare, når opsætningen gør det muligt.
6. Fortæl, hvad der skete bagefter. Synlig opfølgning kan styrke tilliden og deltagelsen ved næste måling.

Et bedre kvalitetsdashboard

I stedet for kun at vise svarprocenten kan en rapport samle flere indikatorer:

• svarprocent,
• påbegyndte og gennemførte besvarelser,
• gennemførelsesgrad,
• typisk svartid,
• fordeling mellem relevante grupper,
• manglende svar på enkelte spørgsmål,
• og udvikling i forhold til tidligere runder.