Het is nuttig om je af te vragen of iedereen aan je onderzoek mee kan doen aan wie je je vragen wilt stellen. Beschikt elke respondent wel over de benodigde vaardigheden om mee te doen? En zo niet, hoe bereik je die mensen dan wél?
Aanleiding
Jaarlijks vindt in het kader van de Staat van de Uitvoering onderzoek plaats dat is gericht op het verbeteren van de (digitale) dienstverlening van de overheid. De onderzoekers wilden weten hoe inwoners en ondernemers de (digitale) overheidsdienstverlening ervaren rondom levensgebeurtenissen. Voor inwoners gaat het om gebeurtenissen als een kind krijgen, verhuizen, scheiden, maar ook informatie zoeken, een klacht indienen of een onveilige situatie melden. Voor ondernemers gaat het bijvoorbeeld om een bedrijf starten of personeel aannemen. Mensen hebben in dit soort situaties vaak te maken met meerdere overheidsorganisaties, waardoor ze de dienstverlening als ingewikkeld kunnen ervaren.
De gekozen aanpak
De onderzoekers zetten een online vragenlijst uit in een respondentenpanel van een groot onderzoeksbureau. In dit panel zaten zowel inwoners als ondernemers.
Was dit de juiste methode bij de onderzoeksvraag?
Nee. De onderzoekers realiseerden zich - tijdens een bewust ingebouwd moment van reflectie - dat ze met de online vragenlijst niet iedereen bereikten voor wie de (digitale) dienstverlening van de overheid relevant is. Ze misten in de steekproef de mensen die digitaal niet vaardig zijn, die niet goed kunnen lezen en/of schrijven of die moeite hebben met het invullen van formulieren. Dit kon leiden tot vertekende onderzoekconclusies.
Hoe is het onderzoek inclusiever gemaakt?
Er is een aanvullend onderzoek gedaan om de ontbrekende mensen alsnog te bereiken. Dat leidde tot bredere inzichten in de kwaliteit van de overheidsdienstverlening.
Dit is er gedaan: een aanvullend onderzoek
De volgende stappen zijn gezet om het onderzoek aan te vullen en inclusiever te maken. Zie de rapporten Tevredenheid Digitaal Mindervaardigen en Oordeel Burgers en Ondernemers over Overheidsdienstverlening voor details.
Stap 1
De onderzoekers stelden vast welke kenmerken de mensen hadden die de online vragenlijsten niet konden invullen. Dat waren de kenmerken ‘digitaal niet vaardig’, ‘laaggeletterd’ en ‘moeite hebben met het invullen van formulieren’.
Stap 2
Om mensen die ontbraken alsnog mee te nemen in het onderzoek, werd gekozen voor een kwantitatieve aanvulling. De onderzoekers stelden selectiecriteria op voor de respondenten. Het betrokken onderzoeksbureau wierf ze telefonisch én via het eigen onderzoekpanel. Het bureau vroeg aan panelleden of zij iemand kenden die aan de criteria voldeed. En of zij bij deze mensen een korte vragenlijst wilden afnemen (telefonisch of face-to-face). Panelleden kregen zo de rol van ‘helper’ en konden de respondenten helpen bij het invullen van de vragenlijst.
Stap 3
De onderzoekers maakten de vragenlijst geschikt voor de nieuwe aanpak: korter en in eenvoudige taal.
Stap 4
Tot slot zijn de resultaten van het oorspronkelijke en aanvullende onderzoek (respectievelijk 4.800 en 149 respondenten) geanalyseerd. De conclusies en aanbevelingen daarvan zijn te vinden in deze eindrapportage, die laat zien hoe inwoners en ondernemers aankijken tegen (digitale) dienstverlening van de overheid (opgenomen in de Staat van de Uitvoering van 2022).
Wat leverde het op?
De resultaten van het oorspronkelijke en het aanvullende onderzoek zijn niet helemaal met elkaar te vergelijken, want in het tweede geval was de vragenlijst veel korter en waren de vragen anders geformuleerd; ook was de steekproef veel kleiner Wel is duidelijk dat de aanvullende meting een breder perspectief en andere inzichten opleverde. De deelnemers aan het aanvullende onderzoek:
- hadden vaak moeite om overheidsinformatie te begrijpen;
- gaven aan het soms lastig te vinden om zelf zaken te regelen;
- leken iets kritischer over de (digitale) overheidsdienstverlening.
Dit kun je zelf doen
Wil je voorkomen dat je mensen uitsluit van onderzoek? Denk dan goed na over je aanpak.
- Is je onderzoek toegankelijk en begrijpelijk voor iedereen?
- Welke kenmerken hebben de mensen die je met je onderzoek gemakkelijk bereikt? Denk aan: een goede kennis van de Nederlandse taal of digitale vaardigheid.
- Hoe bereik je diegenen die die kenmerken niet hebben? Ofwel: wat heeft die groep nodig om je vragen te kunnen beantwoorden?
- Pas je vraagstelling en onderzoeksmethode daarop aan.