Sådan gør I undersøgelser sammenlignelige fra år til år

En tilbagevendende undersøgelse kan vise, om trivsel, kundetilfredshed eller medlemsoplevelse udvikler sig i den ønskede retning. Men en forskel mellem to målinger er ikke nødvendigvis udtryk for en reel forandring. Den kan også skyldes, at spørgsmål, målgruppe, tidspunkt eller metode har ændret sig.

Hvis resultaterne skal kunne sammenlignes over tid, kræver det derfor mere end at genbruge den samme overskrift på undersøgelsen.

1. Definér en fast kerne af spørgsmål

Del spørgeskemaet i to:

• Kernespørgsmål, som går igen fra måling til måling og bruges til at følge udviklingen.
• Aktuelle spørgsmål, som kan ændres efter årets temaer, projekter eller udfordringer.

Kernespørgsmålene bør kun ændres, når der er en klar faglig grund. Selv en forbedring af ordlyden kan påvirke, hvordan deltagerne forstår og besvarer spørgsmålet.

Danmarks Statistik gør i sin dokumentation opmærksom på, at ændringer i spørgsmålsformuleringer, svarkategorier og populationens sammensætning kan begrænse sammenligneligheden over tid. Det samme princip gælder interne virksomheds- og organisationsmålinger.

2. Brug de samme skalaer

Hvis et spørgsmål måles på en skala fra 1 til 5 det ene år og fra 0 til 10 det næste, kan resultaterne ikke sammenlignes direkte uden særlige metodiske overvejelser.

Bevar derfor så vidt muligt:

• samme antal skalapunkter,
• samme retning på skalaen,
• samme tekster ved yderpunkterne,
• samme placering af en eventuel neutral kategori,
• og samme muligheder for “ved ikke” eller “ikke relevant”.

Hvis en skala skal ændres, bør ændringen dokumenteres, og organisationen bør være forsigtig med at fremstille forskellen som en almindelig udvikling.

3. Hold målgruppen så ens som muligt

Et resultat påvirkes af, hvem der bliver inviteret, og hvem der svarer. Hvis den første medarbejdermåling omfatter fastansatte, mens den næste også omfatter timelønnede og eksterne konsulenter, er den samlede score ikke nødvendigvis direkte sammenlignelig.

Beskriv derfor populationen for hver måling:

• Hvem var omfattet?
• Hvem blev ikke inviteret?
• Var der organisatoriske ændringer?
• Er nye afdelinger, kundetyper eller medlemsgrupper kommet til?
• Er svarfordelingen mellem grupper ændret?

4. Gennemfør målingen på et sammenligneligt tidspunkt

Tidspunktet kan påvirke resultaterne. En trivselsmåling lige efter en omstrukturering kan ikke uden videre sammenlignes med en måling fra en rolig periode. En kundemåling kan påvirkes af højsæson, leveringstider eller en nylig prisændring.

Det er ikke altid muligt at vælge præcis samme kalenderuge. Men det er vigtigt at registrere den organisatoriske og markedsmæssige sammenhæng, så ændringer kan fortolkes med den nødvendige forsigtighed.

5. Bevar indsamlingsmetoden

Besvarelser kan påvirkes af, om undersøgelsen gennemføres via e-mail, åbent link, telefon, papir, login eller direkte i en app. Hvis metoden ændres, kan en del af forskellen mellem målingerne skyldes den nye kontakt- eller svarform.

Hvis en metodeændring er nødvendig, kan organisationen overveje en overgangsmåling, hvor den gamle og den nye metode anvendes parallelt på sammenlignelige grupper. Det kan give et bedre grundlag for at vurdere, om selve metodeændringen påvirker resultaterne.

6. Gem en metodebeskrivelse for hver runde

En kort metodebeskrivelse gør det lettere at forstå resultaterne senere. Den behøver ikke være akademisk. Den bør som minimum indeholde:

• dato og svarperiode,
• målgruppe og antal inviterede,
• antal og andel gennemførte besvarelser,
• invitations- og påmindelsesmetode,
• version af spørgeskemaet,
• ændringer siden sidste runde,
• og principper for beregning og rapportering.

7. Undgå at overfortolke små forskelle

En score, der går fra 4,1 til 4,2, er ikke automatisk bevis på en reel forbedring. Forskellen kan skyldes tilfældig variation, ændret deltagersammensætning eller andre metodeforhold.

Se derfor ikke kun på den samlede gennemsnitsscore. Undersøg også:

• fordelingen på svarmuligheder,
• udviklingen i relevante grupper,
• antal besvarelser,
• ændringer i friteksttemaer,
• og om flere indikatorer peger i samme retning.

En enkel model for spørgeskemaet