Frequently asked questions

Er zijn meerdere typen anonieme vragenlijsten.

1. volledig anoniem, volledig open. Dit zijn de vragenlijsten die helemaal openbaar op Internet staan (dat doen wij in de regel niet). Er is geen controle of wie de vragenlijst invult, mensen kunnen meerdere keren invullen.
2. volledig anoniem, op uitnodiging zonder controle. Dit zijn de vragenlijsten waarbij wij, namens de opdrachtgever een mail of brief sturen naar een groep mensen  en waarbij wij op geen enkele manier kunnen nagaan wie er iets ingevuld heeft en wie niet. Een voordeel is de duidelijk volledige anonimiteit, een nadeel is dat niet te controleren is wie wel of niet ingevuld heeft en dat je bij een herinnering iedereen moet attenderen op de vragenlijst, ook de mensen die al gereageerd hebben.
3. anoniem, op uitnodiging met controle. Dit zijn de vragenlijsten waarbij wij namens de opdrachtgever een email of brief sturen en waarbij de geadresseerde een unieke link (of bij toezenden van een brief: een inlogcode) krijgt. De opdrachtgever kan toch richting de eigen mensen de volledige anonimiteit garanderen als er aan de volgende voorwaarden is voldaan:
   1. de resultaten in "ruwe" vorm komen niet in handen van de opdrachtgever
   2. de onderzoeker krijgt de resultaten zonder de inlogcodes of namen
   3. de verwerking van de resultaten gebeurt dusdanig dat scores op bijvoorbeeld afdelingsniveau, niet terug te herleiden zijn tot individuele medewerkers. Dat kan als je te voren afspreekt dat je over afdelingen waarvan de respons beneden een kritisch aantal blijft, niet rapporteert of alleen globaal rapporteert.

Voor onderzoeksdoeleinden is methode 3 de meestgekozen methode, aangezien je zo de beste controle op juistheid van de gegevens hebt. Daarnaast is het dan mogelijk om een onderzoek meerdere keren onder dezelfde groep (populatie) uit te zetten en zo trends te kunnen ontdekken of onderzoek naar effectiviteit van interventies te doen.

Maar uiteindelijk staat of valt het op vertrouwen. Wij garanderen dat de gegevens die in onze databases terechtkomt, anoniem (geanonimiseerd) bij onze klant (vaak onderzoeksbedrijven) terechtkomt, zodat er rapportages gemaakt kunnen worden waarbij de individuele medewerkers zich volledig "veilig" kunnen voelen.

• Reactie toevoegen

De ervaring leert dat een goede voorbereiding voor het uitzetten van een online vragenlijst van belang is. Een goede voorbereiding draagt bij aan een efficiente uitvoering en (uiteindelijk) de meest zinvolle informatie.

Onderstaand een aantal tips:

Projectgroep

Om voldoende relevante informatie te verkrijgen is een optimale aansluiting bij de beleving in de organisatie essentieel. Het best kun je daarom werken met een projectgroep (brede vertegenwoordiging uit ‘het systeem’, zoals de organisatie, de school of de wijk) die het online enquêteren voorbereidt en begeleidt. Deze projectgroep kan, vanuit de doelstelling van de enquete, toetsen of de enquete inhoudelijk voldoende aansluit bij de doelgroep en op welke manier je de vragen het beste kunt weergeven.

Ook kan de doelgroep inschatten op welke manier je de mensen het beste kunt uitgenodigen.

Doel en inhoud van vragenlijst bepalen

Maak helder wat het doel van de enquête is en in welk kader je dit onderzoek doet. Het is van belang dat dit doel breed gedragen wordt binnen ‘het systeem’ (de organisatie, school of wij). Zonder een helder en gezamenlijk gedragen doel moet je je afvragen of je een online enquete moet uitzetten. Vervolgens is het van belang dat de inhoud aansluit bij dit doel. Dat klinkt voor de hand liggend, maar vaak wordt om pragmatische redenen gekozen voor standaard (gevalideerde) vragenlijsten. Het is echter van belang na te gaan of de vragenlijsten voor de doelgroep logisch aansluiten bij het doel. Het gaat veelal om het zoeken van een vragenset op maat, bestaande uit een goede mix van standaard gevalideerde vragenlijsten en specifieke ‘logisch door de doelgroep te verwachten’ pragmatische vragen.

Voorbereiding voor het uitzetten

Het van belang om bij de start van het project gelijk al na te denken over het uitzetten van de online enquete. En voorbereidende activiteiten gelijk op te starten. De ervaring leert dat deze werkzaamheden niet onderschat moeten worden en dat ze vaak ook veel tijd vergen. Het gaat bijvoorbeeld om:

1. Bepaal welke groepen mensen je wel/ niet wilt benaderen voor de vragenlijst
2. Stel daarvoor een "uitnodigingslijst" samen en controleer het bestand. Het samenstellen van het e-mail bestand met mensen die zullen worden benaderd voor de enquête blijkt telkens een behoorlijke klus. Wacht daar niet te lang mee. Maak ook afspraken hoe je om wilt gaan met:
   1. niet complete lijsten of achterhaalde e-mail adressen.
   2. mensen die wel tot je doelgroep horen, maar niet per email te bereiken zijn
   3. respondenten die tijdens de looptijd aangeven de uitnodiging niet ontvangen te hebben, of deze op een ander adres te willen ontvangen
3. Maak een keuze namens wie de enquete wordt uitgezet. Namens de directie van een bedrijf, de projectleider, de projectgroep etc.
4. Maak een tekst voor de e-mail of brief waarmee je de mensen uitnodigt. Overwegingen daarbij: vermelden van het doel van het onderzoek, duur van het invullen, wat er met de resultaten gedaan wordt, of de enquête anoniem kan worden ingevuld en zo ja hoe de anonimiteit wordt geborgd, toe wie men zich kan wenden met vragen etc.
5. Maak een tekst voor het beginscherm van de online enquête. Daarin praktische zaken als duur van het invullen, al dan niet kunnen afbreken/ opslaan etc.
6. Maak met de projectgroep afspraken over de respons en het streven naar een responspercentage. Wil je reminders sturen? Zo ja, wanneer (tijdgebonden of responsafhankelijk)? Welke uitsplitsingen wil je daarvoor hanteren (naar subgroepen of de totale populatie)?
7. Check de versie(s) van browser(s) indien relevant. (Internet Explorer 6.0 is berucht...)

Communicatie

8. Zorg voor communicatie voor, tijdens en na het online staan van de enquête. Bespreek de wijze waarop de online enquête zal worden gecommuniceerd. Informeer je alleen de doelgroep, of een bredere populatie in ‘het systeem’ (de organisatie, de school of de wijk)? Welke communcatiemiddelen wil je inzetten? Gebruik je standaard communicatiemiddelen die er binnen ‘het systeem’ al aanwezig zijn? Of zet je extra communicatiekanalen in? Kun je je doelgroep bereiken via een Intranet, Twitter of een ander sociaal netwerk?
9. Bepaal of je responsgegevens tijdens het online staan van de enquête wilt communiceren of niet.
10. Bepaal of je direct na het invullen van de enquête de respondent "live" feedback geeft van haar/zijn eigen resultaten en eventueel afgezet tegen de hele populatie of een deel ervan.
11. Maak afspraken over de terugkoppeling van alle resultaten (tijdspad, verdeling naar subgroepen) en de wijze van rapporteren (rapportage, powerpoint, mondeling) en aan wie de resultaten zullen worden teruggekoppeld.

Met veel dank aan Arjella van Scheppingen (TNO)

• Reactie toevoegen

Bij het maken van een vragenlijst heb je als onderzoeker veel keuzes te maken:

• online of op papier
• alleen gesloten vragen (makkelijker te interpreteren) of ook open vragen?
• is het een "rechte" vragenlijst, zonder afhankelijkheden, of zitten er vragen in die anders zijn, afhankelijk van het antwoord op een vorige vraag?
• heb je de definitieve versie van je vragenlijst klaar of wil je eerst een testversie uitzetten
• open, volledig gecontroleerd of ergens er tussenin?
• heb je een lijst met potentiële respondenten of niet? Moet je eventueel aan publiciteit gaan doen om respondenten te werven?
• verwerking achteraf via Excel, SPSS of anders?
• wanneer starten, hoelang open, wanneer sluiten?
• wie doet de communicatie rond het uitzetten van de vragenlijst? Wat vertel je over de vertrouwelijkheid?
• hoe nodig je uit, hoe spoor je mensen aan om alsnog in te vullen?
• wil je de respondenten terugkoppeling bieden over hun score, bijvoorbeeld via een benchmark
• en nog zo wat....

Kleine Stappen heeft heel eenvoudige vragenlijsten gemaakt (1 vraag), maar ook heel ingewikkelde (meerdere (ingewikkelde) vragen, afhankelijkheden in de vraagstelling, diverse bedrijven in één vragenlijst, meten op meerdere momenten).

Gratis advies: Als je helemaal geen geld extern wilt uitgeven, gebruik dan gratis tools, zoals SurveyMonkey, Google Spreadsheets en dergelijke. Hierin kun je prima eenvoudige vragenlijsten bouwen, als je er beetje de tijd voor neemt om je de tool eigen te maken.

Als je een professionele vragenlijst wilt laten bouwen door een externe partij, reken dan (als het nodig is) op:

• invoer van de vragenlijst, eventuele wijzigingen na testen
• bouwen van de afhankelijkheden tussen de vragen en eventuele validering van vragen
• bij grafische vragenlijsten: ontwikkelen van grafisch materiaal (bijvoorbeeld cartoons, foto's)
• koppeling aan eventuele externe databanken
• bouwen van de terugkoppeling indien gewenst
• styling van de vragenlijst (logo's, lettertypes, kleuren, buttons, e.d.) als je niet een standaard template wilt gebruiken
• invoeren van de lijst van potentiele respondenten
• uitnodigen van de respondenten per mail
• assistentie tijdens de looptijd: er zijn altijd vragen van respondenten
• aansporen van mensen die nog niet (volledig) gerageerd hebben
• opleveren van resultaten: alleen achteraf of ook tussendoor. Welk formaat?

Als we het bovenstaande helder hebben, maken we graag een aanbieding voor je!

• Reactie toevoegen

Wanneer je een peiling doet onder het personeelsbestand van een organisatie, is het vaak de vraag wat je doet met al dan niet uitnodigen van tijdelijke mensen, stagiares en mensen die ingehuurd zijn, zoals kantinepersoneel en dergelijke.

Bij het uitnodigen van deze mensen spelen minstens twee zaken een rol:

• is de feedback van deze groepen relevant voor je onderzoek?
• wat doet het op de werkvloer als je deze mensen niet uitnodigt?

Het eerste aspect is iets wat je als onderzoeker moet bekijken. Is de respons van deze groepen nodig of nuttig voor je onderzoek? Dat kun je zelf het beste uitmaken. Vergeet niet dat deze groepen vaak een andedere kijk of het werken in de organisatie kunnen hebben dan de "vaste" mensen.

Het tweede aspect wordt vaak vergeten: door de "extra mensen" niet uit te nodigen, benadruk je als organisatie dat ze er niet bij horen. Het al of niet uitnodigen van deze groep doet in ieder geval wat met ze. Vergelijk het met het personeelsfeest.

In ieder geval: maak een keuze en maak deze keuze duidelijk. Ofwel via werkoverleg ofwel via de uitnodiging voor de enquête. 

Overleg met het uitzendbureau of detacheerder kan zinvol zijn, zodat ook zij het doel van de enquete onder de aandacht kunnen brengen, maar bijvoorbeeld ook om contactgegevens van uit te nodigen mensen te verkrijgen.

• Reactie toevoegen

De belangrijkste voordelen zijn:

• tijdens de voorbereiding kun je makkelijk varianten van de vragenlijst testen
• de tijd tussen start van een online vragenlijst en het verkrijgen van de eerste resultaten is sneller dan bij een papieren vragenlijst
• tijdens de looptijd (het "online" zijn) van de vragenlijst kun je direct reageren en de vragenlijst (op kleine punten, bijvoorbeeld spellingsfouten) aanpassen
• in een online vragenlijst kun je vragen presenteren afhankelijk van antwoorden op eerdere vragen. Dit heet "branching" of "conditionele vragen"
• in een online vragenlijst kun je het invullen van vragen min of meer "afdwingen" door vragen verplicht te maken, de respondent kan niet naar een volgende bladzijde zonder de vraag te beantwoorden
• je kunt de waardes die respondenten ingeven, meteen valideren: voorbeeld: bij een vraag naar geboortejaar, kun je een waarde accepteren tussen 1920 en 2000, andere waardes zijn niet geldig
• al bekende gegevens kunnen van tevoren in het uitnodingsbestand worden opgenomen. Medewerkers hoeven ze dan niet nogmaals zelf in te vullen.
• bij een online vragenlijst kun je de respondent na afloop meteen de resultaten terugrapporteren en eventueel vergelijken met de groep als totaal of aparte doorsneden van de groep, aan de hand van antwoorden van de respondent
• Je kan de respons monitoren en op basis daarvan desgewenst reminders sturen.
• bij gecontroleerde uitnodigingen kun je iedereen die nog niet reageerde herinneren aan de vragenlijst
• als er tikfouten gemaakt worden, worden die door je respondenten gemaakt, niet door de data-entry mensen
• direct na het aflopen van de eindtijd, kun je beginnen met analyseren
• na een zekere tijd kun je onder de respondenten van de eerste keer (bij gecontroleerde vragenlijsten) opnieuw een vragenlijst afnemen

Wat zijn nadelen aan online vragenlijsten t.o.v. papier?

• respondenten vertrouwen niet altijd op de anonimiteit, je moet extra moeite doen om vertrouwen te krijgen
• niet iedereen heeft internet; we zijn ook tegengekomen dat mensen wel email kunnen ontvangen, maar niet vrij op Internet kunnen browsen
• hoe een online vragenlijst eruit ziet, is deels afhankelijk van de browser die mensen gebruiken. Vooral met Internet Explorer 6.0 (uit 2001) kunnen er problemen in de presentatie op het scherm ontstaan. Als het enigszins mogelijk is, proberen we het gebruik van Internet Exporer 6.0 te vermijden, aangezien deze browser de beelpresentatie ernstig bemoeilijkt en niet veilig is.

• Reactie toevoegen