Een plafondeffect bij het verzamelen van gegevens, waarbij de variantie in een afhankelijke variabele niet boven een bepaald niveau wordt gemeten of geschat, is een praktisch probleem dat vaak wordt ondervonden bij het verzamelen van gegevens in vele wetenschappelijke disciplines. Een dergelijk effect is vaak het gevolg van beperkingen van de instrumenten voor het verzamelen van gegevens. Wanneer een plafondeffect optreedt bij het verzamelen van gegevens, is er een bundeling van scores op het hoogste niveau dat door een instrument wordt gerapporteerd.
Beperkingen ten aanzien van responsbiasEdit
Responsbias komt vaak voor bij onderzoek naar kwesties die ethische grondslagen kunnen hebben of algemeen worden beschouwd als met negatieve connotaties. Deelnemers kunnen nalaten om op de juiste manier op een maatregel te antwoorden op basis van de vraag of zij denken dat de juiste reactie negatief wordt opgevat. Een bevolkingsonderzoek naar levensstijlvariabelen die van invloed zijn op de gezondheidsuitkomsten, kan een vraag over rookgewoonten bevatten. Om te voorkomen dat een respondent die een zware roker is, weigert een nauwkeurig antwoord over roken te geven, kan het hoogste niveau van roken waarnaar in het enquête-instrument wordt gevraagd, “twee pakjes per dag of meer” zijn. Dit resulteert in een plafondeffect in die zin dat personen die drie pakjes of meer per dag roken niet worden onderscheiden van personen die precies twee pakjes roken. Een bevolkingsenquête naar het inkomen kan eveneens een hoogste antwoordniveau hebben van “100.000 dollar per jaar of meer”, in plaats van hogere inkomensbereiken op te nemen, aangezien respondenten zouden kunnen weigeren te antwoorden als de enquêtevragen hun inkomen te specifiek vermelden. Ook dit resulteert in een plafondeffect, waarbij geen onderscheid wordt gemaakt tussen personen met een inkomen van $500.000 per jaar of meer en personen met een inkomen van precies $100.000 per jaar. De rol van vertekening van de respons bij het veroorzaken van plafondeffecten komt duidelijk naar voren in het voorbeeld van respondenten die denken dat de gewenste respons de maximaal te rapporteren waarde is, hetgeen leidt tot een clustering van gegevenspunten. De poging om vertekening van de respons te voorkomen, leidt in het geval van de enquête naar rookgewoonten tot plafondeffecten door het basisontwerp van de maatregel.
Beperkingen ten aanzien van het bereik van het instrumentEdit
Het bereik van de gegevens die met een bepaald instrument kunnen worden verzameld, kan worden beperkt door inherente beperkingen in het ontwerp van het instrument. Vaak wordt bij het ontwerp van een bepaald instrument een afweging gemaakt tussen plafondeffecten en bodemeffecten. Indien een afhankelijke variabele die op een nominale schaal wordt gemeten, geen antwoordcategorieën heeft die het bovenste gedeelte van de spreiding van de steekproef bestrijken, zal de respons met de maximumwaarde alle waarden boven het einde van de schaal moeten omvatten. Dit zal resulteren in een plafondeffect als gevolg van de groepering van respondenten in de ene maximumcategorie, waardoor een nauwkeurige weergave van de afwijking boven dat punt onmogelijk is. Dit probleem doet zich voor bij veel soorten enquêtes waarbij gebruik wordt gemaakt van vooraf bepaalde antwoordcategorieën. Wanneer veel proefpersonen op een variabele scoren aan de bovengrens van wat een instrument rapporteert, levert gegevensanalyse onnauwkeurige informatie op omdat een deel van de werkelijke variatie in de gegevens niet wordt weerspiegeld in de scores die met dat instrument worden verkregen.
Van een plafondeffect is sprake wanneer een groot deel van de proefpersonen in een onderzoek maximale scores heeft op de waargenomen variabele. Dit maakt discriminatie tussen proefpersonen aan de bovenkant van de schaal onmogelijk. Zo kan bijvoorbeeld een examenopgave ertoe leiden dat 50% van de studenten 100% scoort. Hoewel zo’n proefwerk als een nuttige drempeltoets kan dienen, is het niet mogelijk een rangorde van de best presterende leerlingen op te stellen. Daarom wordt bij de validatie van instrumenten, zoals die voor het meten van de levenskwaliteit, vaak nagegaan of de testresultaten een mogelijk plafondeffect en omgekeerd een bodemeffect hebben.
In zo’n geval weerhoudt het plafondeffect het instrument ervan een meting of schatting te noteren die hoger ligt dan een of andere grens die geen verband houdt met het waargenomen verschijnsel, maar wel met het ontwerp van het instrument. Een ruw voorbeeld is het meten van de hoogte van bomen met een liniaal die slechts 20 meter lang is, als het op basis van ander bewijsmateriaal duidelijk is dat er bomen zijn die veel hoger zijn dan 20 meter. Het gebruik van een liniaal van 20 meter als het enige middel om bomen te meten zou een plafond opleggen aan het verzamelen van gegevens over de hoogte van bomen. Plafondeffecten en bodemeffecten beperken beide het bereik van de door het instrument gerapporteerde gegevens, waardoor de variabiliteit in de verzamelde gegevens wordt beperkt. Beperkte variabiliteit in de verzamelde gegevens over een variabele kan de kracht van statistieken over correlaties tussen die variabele en een andere variabele verminderen.
Toelatingstoetsen voor hogescholenEdit
In de verschillende landen die toelatingstoetsen gebruiken als het belangrijkste element of een belangrijk element om te bepalen of men in aanmerking komt voor een studie aan een hogeschool of universiteit, hebben de verzamelde gegevens betrekking op de verschillende prestatieniveaus van de kandidaten op de toetsen. Wanneer een toelatingstoets voor een universiteit een maximumscore heeft die kan worden behaald zonder perfect te presteren op de testonderdelen, heeft de puntenschaal van de toets een plafondeffect. Indien de inhoud van de test voor veel testdeelnemers gemakkelijk is, is het bovendien mogelijk dat de test geen beeld geeft van de werkelijke prestatieverschillen (zoals bij andere instrumenten het geval zou zijn) tussen testdeelnemers aan de bovengrens van het prestatiebereik van de test. Wiskundetests gebruikt voor toelating tot de universiteit in de Verenigde Staten en soortgelijke tests gebruikt voor toelating tot de universiteit in Groot-Brittannië illustreren beide fenomenen.
Cognitieve psychologieEdit
In de cognitieve psychologie worden mentale processen zoals probleemoplossen en memoriseren experimenteel bestudeerd door operationele definities te gebruiken die duidelijke metingen mogelijk maken. Een veel voorkomende meting van belang is de tijd die nodig is om te reageren op een bepaalde stimulus. Bij de bestudering van deze variabele kan een plafond het laagst mogelijke getal zijn (het geringste aantal milliseconden tot een respons), en niet de hoogste waarde, zoals de gebruikelijke interpretatie van “plafond” is. In studies van de reactietijd kan het lijken alsof er een plafond is opgetreden in de metingen, omdat er een duidelijke clustering is rond een bepaalde minimumtijd (zoals de snelste tijd die in een experiment is geregistreerd). Deze clustering zou echter eerder een natuurlijke fysiologische limiet van de reactietijd kunnen vertegenwoordigen, dan een artefact van de gevoeligheid van de stopwatch (wat natuurlijk een plafondeffect zou zijn). Verder statistisch onderzoek, en wetenschappelijk oordeel, kan uitwijzen of de waarnemingen al dan niet te wijten zijn aan een plafond of de waarheid van de zaak zijn.
Validiteit van instrumentbeperkingenEdit
IQ-testen Bewerk
Sommige auteurs over hoogbegaafdenonderwijs schrijven over plafondeffecten in IQ-testen die negatieve gevolgen hebben voor individuen. Deze auteurs beweren soms dat dergelijke plafonds leiden tot een systematische onderschatting van het IQ van intellectueel begaafde mensen. In dit geval moet zorgvuldig onderscheid worden gemaakt tussen twee verschillende manieren waarop de term “plafond” wordt gebruikt in geschriften over IQ-tests.
| Leerling | KABC-II | WISC-III | WJ-III |
|---|---|---|---|
| Asher | 90 | 95 | 111 |
| Brianna | 125 | 110 | 105 |
| Colin | 100 | 93 | 101 |
| Danica | 116 | 127 | 118 |
| Elpha | 93 | 105 | 93 |
| Fritz | 106 | 105 | 105 |
| Georgi | 95 | 100 | 90 |
| Hector | 112 | 113 | 103 |
| Imelda | 104 | 96 | 97 |
| Jose | 101 | 99 | 86 |
| Keoku | 81 | 78 | 75 |
| Leo | 116 | 124 | 102 |
De plafonds van IQ subtests worden opgelegd door hun reeksen van progressief moeilijker items. Een IQ-test met een breed bereik van geleidelijk moeilijker wordende vragen zal een hoger plafond hebben dan een test met een smal bereik en weinig moeilijke items. Plafondeffecten leiden in de eerste plaats tot een onvermogen om een onderscheid te maken tussen hoogbegaafden (matig begaafd, hoogbegaafd, enz.), en in de tweede plaats tot de foutieve classificatie van sommige hoogbegaafden als bovengemiddeld, maar niet begaafd.
Stel dat een IQ-test drie subtests heeft: woordenschat, rekenen, en beeldanalogieën. De scores op elk van de subtests worden genormaliseerd (zie standaardscore) en vervolgens bij elkaar opgeteld om een samengestelde IQ-score te verkrijgen. Stel nu dat Joe de maximale score van 20 behaalt op de rekentoets, maar 10 van de 20 haalt op de woordenschat- en analogietest. Is het eerlijk om te zeggen dat Joe’s totale score van 20+10+10, of 40, zijn totale bekwaamheid weergeeft? Het antwoord is nee, omdat Joe de maximaal haalbare score van 20 haalde op de rekentoets. Als de rekentoets extra, moeilijkere onderdelen had bevat, had Joe misschien 30 punten voor die subtest gekregen, wat een “echte” score van 30+10+10 of 50 zou hebben opgeleverd. Vergelijk Joe’s prestatie met die van Jim, die 15+15+15 = 45 scoorde, zonder tegen subtest-plafonds aan te lopen. In de oorspronkelijke formulering van de test deed Jim het beter dan Joe (45 tegen 40), terwijl Joe eigenlijk een hogere “totale” intelligentiescore had moeten halen dan Jim (score van 50 voor Joe tegen 45 voor Jim) bij gebruik van een geherformuleerde test die moeilijkere rekenonderdelen bevat.
Verschrijvingen over hoogbegaafdenonderwijs brengen twee redenen naar voren om aan te nemen dat sommige IQ-scores een onderschatting zijn van de intelligentie van een testnemer:
- zij hebben de neiging om alle subtests beter te doen dan minder getalenteerde mensen;
- zij hebben de neiging om het veel beter te doen op sommige subtests dan op andere, waardoor de variabiliteit tussen de subtests toeneemt en de kans dat er een plafond wordt aangetroffen.
Statistische analyseEdit
Plafondeffecten op metingen compromitteren wetenschappelijke waarheid en begrip door een aantal gerelateerde statistische afwijkingen.
Ten eerste, plafonds schaden het vermogen van onderzoekers om de centrale tendens van de gegevens te bepalen. Wanneer een plafondeffect betrekking heeft op gegevens die zijn verzameld over een afhankelijke variabele, kan het niet onderkennen van dat plafondeffect “leiden tot de foutieve conclusie dat de onafhankelijke variabele geen effect heeft.” Om wiskundige redenen die buiten het bestek van dit artikel vallen (zie variantieanalyse), vermindert deze geremde variantie de gevoeligheid van wetenschappelijke experimenten die bedoeld zijn om te bepalen of het gemiddelde van een groep significant verschilt van het gemiddelde van een andere groep. Bijvoorbeeld, een behandeling gegeven aan een groep kan een effect teweegbrengen, maar het effect kan aan detectie ontsnappen omdat het gemiddelde van de behandelde groep niet verschillend genoeg zal lijken van het gemiddelde van de onbehandelde groep.
Dus “plafondeffecten zijn een complex van zaken en hun vermijding een kwestie van zorgvuldige evaluatie van een reeks van kwesties.”
PreventieEdit
Omdat plafondeffecten een nauwkeurige interpretatie van gegevens in de weg staan, is het van belang te proberen te voorkomen dat de effecten optreden of de aanwezigheid van de effecten te gebruiken om het gebruikte instrument en de gebruikte procedures aan te passen. Onderzoekers kunnen op een aantal manieren proberen plafondeffecten te voorkomen. De eerste daarvan is het kiezen van een eerder gevalideerde maat door onderzoek uit het verleden te bestuderen. Als er geen gevalideerde maatregelen bestaan, kunnen piloottests worden uitgevoerd met de voorgestelde methoden. Bij een piloottest, of het uitvoeren van een pilotexperiment, worden instrumenten en procedures op kleine schaal uitgeprobeerd voordat het eigenlijke experiment plaatsvindt, zodat kan worden ingezien dat aanpassingen nodig zijn voor een zo efficiënt en nauwkeurig mogelijke gegevensverzameling. Als onderzoekers een opzet gebruiken die nog niet eerder is gevalideerd, kan een combinatie van onderzoeken, waaronder het oorspronkelijk voorgestelde en een ander dat door vroegere literatuur wordt ondersteund, worden gebruikt om de aanwezigheid van plafondeffecten te beoordelen. Als uit onderzoek, en met name uit het proefonderzoek, een plafondeffect blijkt, moet worden getracht het instrument aan te passen, zodat het effect kan worden afgezwakt en informatief onderzoek kan worden verricht.