Over gerandomiseerde veldexperimenten Gerandomiseerde veldexperimenten stellen onderzoekers in staat om op wetenschappelijke wijze het effect van een interventie op een bepaalde uitkomst van belang te meten.
Wat is een gerandomiseerd veldexperiment? In een gerandomiseerd experiment wordt een steekproef verdeeld in een groep die de bestudeerde interventie krijgt (de behandelingsgroep) en een andere groep die de interventie niet krijgt (de controlegroep). Een studiesteekproef kan bijvoorbeeld bestaan uit alle geregistreerde kiezers in een bepaalde stad. Deze steekproef zal dan willekeurig worden verdeeld in een behandelings- en een controlegroep. Misschien staat 40% van de steekproef op de Get-Out-the-Vote (GOTV) mailinglijst van een campagne en ontvangt de andere 60% van de steekproef de GOTV-mailings niet. Het gemeten resultaat – de opkomst van de kiezers – kan dan in de twee groepen worden vergeleken. Het verschil in opkomst zal de doeltreffendheid van de interventie weergeven.
Wat betekent willekeurige toewijzing? De sleutel tot gerandomiseerde experimentele onderzoeksopzet ligt in de willekeurige toewijzing van proefpersonen – bijvoorbeeld individuele kiezers, kiesdistricten, mediamarkten of een andere groep – aan behandelings- of controlegroepen. Randomisatie heeft in deze context een zeer specifieke betekenis. Het verwijst niet naar het lukraak of toevallig kiezen van sommigen en anderen niet. Randomisering betekent in deze context dat ervoor wordt gezorgd dat er geen patroon bestaat tussen de indeling van de proefpersonen in groepen en de kenmerken van die proefpersonen. Iedere proefpersoon heeft evenveel kans om in de behandelings- (of controlegroep) te worden ingedeeld. Willekeurige toewijzing wordt meestal bereikt door gebruikmaking van een computerprogramma met een generator van willekeurige getallen. Willekeurige procedures verschillen naar gelang van de onderzoeksopzet van het experiment. Individuen of groepen kunnen willekeurig worden toegewezen aan behandelings- of controlegroepen. Sommige onderzoeksopzetten stratificeren proefpersonen naar geografische, demografische of andere factoren voorafgaand aan de willekeurige toewijzing om de statistische kracht van het geschatte effect van de behandeling te maximaliseren (bv. GOTV-interventie). Informatie over de randomisatieprocedure is opgenomen in elke samenvatting van het experiment op de site.
Wat zijn de voordelen van gerandomiseerde experimentele ontwerpen? Een gerandomiseerd experimenteel ontwerp levert de meest accurate analyse op van het effect van een interventie (bv. een telefonische kiezersmobilisatie of een bezoek van een GOTV-kanvasser, op het gedrag van de kiezer). Door proefpersonen willekeurig toe te wijzen aan de groep die de behandeling krijgt of aan de controlegroep, kunnen onderzoekers het effect van de mobilisatiemethode meten, ongeacht andere factoren die sommige mensen of groepen meer geneigd kunnen maken om deel te nemen aan het politieke proces. Om een eenvoudig voorbeeld te geven: stel dat we de effectiviteit testen van een kiezersvoorlichtingsprogramma voor middelbare scholieren. Als we leerlingen uit de klas toestaan om vrijwillig deel te nemen aan het programma, en we vergelijken vervolgens het stemgedrag van de vrijwilligers met dat van degenen die niet hebben deelgenomen, dan zullen onze resultaten iets anders weerspiegelen dan de effecten van de kiezerseducatie-interventie. Dit komt omdat er ongetwijfeld kwaliteiten van die vrijwilligers zijn die hen anders maken dan leerlingen die geen vrijwilligerswerk doen. En, wat voor ons werk het belangrijkst is, die verschillen kunnen heel goed correleren met de neiging om te gaan stemmen. In plaats van de leerlingen zelf te laten kiezen, of zelfs de leerkrachten leerlingen te laten kiezen (aangezien leerkrachten vooroordelen kunnen hebben over wie ze kiezen), zouden we alle leerlingen in een bepaalde klas willekeurig kunnen indelen in een behandelings- of controlegroep. Dit zou ervoor zorgen dat de verschillen tussen de behandelings- en controlegroepen uitsluitend aan het toeval te wijten zijn. De waarde van randomisatie kan ook worden gezien in het gebruik van looplijsten voor huis-aan-huiswandelaars. Als de colporteurs kiezen welke huizen zij zullen bezoeken en welke zij zullen overslaan, kunnen zij huizen kiezen die meer uitnodigend lijken of huizen die dicht bij elkaar staan in plaats van huizen die meer verspreid liggen. Het is denkbaar dat deze verschillen correleren met de opkomst bij verkiezingen. Of als huisnummers worden gekozen door die op de eerste helft van een lijst van tien bladzijden te selecteren, kunnen zij geclusterd zijn in buurten die op belangrijke punten verschillen van buurten in de tweede helft van de lijst. Willekeurige toewijzing controleert zowel bekende als onbekende variabelen die met andere selectieprocessen kunnen binnensluipen om analyses te verstoren. Een gerandomiseerde experimentele opzet is een krachtig instrument voor het trekken van geldige conclusies over oorzaak en gevolg. Het gebruik van een gerandomiseerd experimenteel ontwerp moet een zekere mate van zekerheid bieden dat de onderzoeksresultaten die worden vermeld in studies die deze methodologie gebruiken, de effecten weerspiegelen van de interventies die worden gemeten en niet een of andere andere onderliggende variabele of variabelen.