En loftseffekt ved dataindsamling, hvor variansen i en afhængig variabel ikke måles eller estimeres over et bestemt niveau, er et almindeligt forekommende praktisk problem ved indsamling af data inden for mange videnskabelige discipliner. En sådan effekt er ofte et resultat af begrænsninger på dataindsamlingsinstrumenterne. Når der opstår en loftseffekt ved dataindsamling, er der en sammenhobning af scoringer på det øverste niveau, der rapporteres af et instrument.
Responsbias begrænsningerRediger
Responsbias forekommer ofte i forskning vedrørende spørgsmål, der kan have et etisk grundlag eller generelt opfattes som havende negative konnotationer. Deltagerne kan undlade at reagere hensigtsmæssigt på en foranstaltning på baggrund af, om de tror, at det korrekte svar opfattes negativt. En befolkningsundersøgelse om livsstilsvariabler, der har indflydelse på sundhedsresultater, kan omfatte et spørgsmål om rygevaner. For at beskytte sig mod muligheden for, at en respondent, der er storryger, kan nægte at give et korrekt svar om rygning, kan det højeste niveau af rygning, der spørges om i undersøgelsesinstrumentet, være “to pakker om dagen eller mere”. Dette medfører en loftseffekt, idet personer, der ryger tre pakker eller mere om dagen, ikke adskilles fra personer, der ryger præcis to pakker om dagen. En befolkningsundersøgelse om indkomst kan ligeledes have et højeste svarniveau på “100 000 USD om året eller mere” i stedet for at inkludere højere indkomstintervaller, da respondenterne måske vil afvise at svare, hvis spørgsmålene i undersøgelsen identificerer deres indkomst for specifikt. Dette resulterer også i en loftseffekt, idet der ikke skelnes mellem personer, der har en indkomst på 500 000 USD om året eller derover, og personer, hvis indkomst er præcis 100 000 USD om året. Den rolle, som svarforvridning spiller i forbindelse med loftseffekter, ses tydeligt i eksemplet med respondenter, der tror, at det ønskelige svar er den maksimale værdi, der kan indberettes, hvilket resulterer i en klynge af datapunkter. Forsøget på at forebygge svarskævhed i forbindelse med undersøgelsen af rygevaner fører til loftseffekter gennem foranstaltningens grundlæggende udformning.
Begrænsninger i instrumentets rækkeviddeRediger
Den række af data, der kan indsamles med et bestemt instrument, kan være begrænset af iboende begrænsninger i instrumentets udformning. Ofte indebærer udformningen af et bestemt instrument, at der skal foretages en afvejning mellem loftsvirkninger og gulvvirkninger. Hvis en afhængig variabel, der måles på en nominel skala, ikke har svarkategorier, der på passende vis dækker den øvre ende af stikprøvens fordeling, skal den maksimale svarværdi omfatte alle værdier, der ligger over skalaens ende. Dette vil resultere i en loftseffekt som følge af grupperingen af respondenterne i den enkelte maksimumskategori, hvilket forhindrer en nøjagtig repræsentation af afvigelsen ud over dette punkt. Dette problem opstår i mange typer undersøgelser, hvor der anvendes forudbestemte svar i form af parenteser. Når mange forsøgspersoner har scorer på en variabel på den øvre grænse for, hvad et instrument rapporterer, giver dataanalysen unøjagtige oplysninger, fordi en del af den faktiske variation i dataene ikke afspejles i de scoringer, der er opnået fra det pågældende instrument.
En loftseffekt siges at forekomme, når en stor andel af forsøgspersoner i en undersøgelse har maksimale scoringer på den observerede variabel. Dette gør det umuligt at skelne mellem forsøgspersoner blandt den øverste ende af skalaen. For eksempel kan en eksamensopgave føre til, at f.eks. 50 % af de studerende scorer 100 %. Selv om en sådan opgave kan fungere som en nyttig tærskelprøve, giver den ikke mulighed for at rangordne de bedste præsterende elever. Af denne grund er undersøgelse af testresultater med henblik på en eventuel loftseffekt og den omvendte gulvvirkning ofte indbygget i valideringen af instrumenter som f.eks. dem, der anvendes til måling af livskvalitet.
I et sådant tilfælde forhindrer loftseffekten instrumentet i at notere en måling eller et skøn, der er højere end en vis grænse, som ikke er relateret til det fænomen, der observeres, men snarere til instrumentets udformning. Et groft eksempel kunne være at måle højden på træer med en lineal, der kun er 20 meter lang, hvis det på baggrund af andre beviser er tydeligt, at der er træer, der er meget højere end 20 meter. Hvis man bruger 20-meter-linealen som det eneste middel til at måle træer, vil man lægge et loft over indsamlingen af data om træers højde. Både loftsvirkninger og gulvvirkninger begrænser rækkevidden af de data, der rapporteres af instrumentet, hvilket reducerer variabiliteten i de indsamlede data. Begrænset variabilitet i de data, der indsamles om en variabel, kan reducere statistikkernes styrke i forbindelse med korrelationer mellem denne variabel og en anden variabel.
Optagelsesprøver for studerendeRediger
I de forskellige lande, der anvender optagelsesprøver som det vigtigste element eller et vigtigt element til at afgøre, om man er berettiget til at studere på en læreanstalt eller et universitet, vedrører de indsamlede data de forskellige præstationsniveauer hos ansøgerne i forbindelse med prøverne. Når en adgangsprøve til en videregående uddannelse har en maksimal mulig score, som kan opnås uden perfekt præstation på prøvens emneindhold, har prøvens pointskala en loftseffekt. Hvis prøvens indhold er let for mange testdeltagere, afspejler prøven desuden muligvis ikke de faktiske forskelle i præstation (som det ville kunne konstateres med andre instrumenter) blandt testdeltagere i den høje ende af prøvens præstationsområde. Matematiktests, der anvendes til optagelse på college i USA, og lignende tests, der anvendes til optagelse på universiteter i Storbritannien, illustrerer begge fænomener.
Kognitiv psykologiRediger
I kognitiv psykologi undersøges mentale processer såsom problemløsning og memorisering eksperimentelt ved hjælp af operationelle definitioner, der giver mulighed for klare målinger. En almindelig måling af interesse er den tid, det tager at reagere på en given stimulus. Ved undersøgelse af denne variabel kan et loft være det lavest mulige tal (det færrest mulige antal millisekunder til et svar), snarere end den højeste værdi, som er den sædvanlige fortolkning af “loft”. I undersøgelser af responstid kan det se ud til, at der er opstået et loft i målingerne på grund af en tilsyneladende klynge omkring et minimum af tid (f.eks. den hurtigste tid, der er registreret i et forsøg). Denne klynge kan imidlertid faktisk repræsentere en naturlig fysiologisk grænse for responstiden snarere end en artefakt af stopurets følsomhed (hvilket naturligvis ville være en loftseffekt). Yderligere statistiske undersøgelser og videnskabelig vurdering kan afgøre, om observationerne skyldes et loft eller er sandheden.
Validitet af instrumentbegrænsningerRediger
IQ-testning Rediger
Nogle forfattere om begavelsesundervisning skriver om, at loftseffekter i IQ-testning har negative konsekvenser for den enkelte. Disse forfattere hævder undertiden, at sådanne lofter medfører en systematisk undervurdering af intellektuelt begavede menneskers IQ. I dette tilfælde er det nødvendigt nøje at skelne mellem to forskellige måder, hvorpå udtrykket “loft” bruges i skrifter om IQ-testning.
| Eelev | KABC-II | WISC-III | WJ-III | |
|---|---|---|---|---|
| Asher | 90 | 95 | 111 | |
| Brianna | 125 | 110 | 105 | |
| Colin | 100 | 93 | 101 | |
| Danica | 116 | 127 | 118 | |
| Elpha | 93 | 105 | 105 | 93 |
| Fritz | 106 | 105 | 105 | |
| Georgi | 95 | 100 | 90 | |
| Hector | 112 | 113 | 103 | |
| Imelda | 104 | 96 | 96 | 97 |
| Jose | 101 | 99 | 86 | |
| Keoku | 81 | 78 | 75 | |
| Leo | 116 | 124 | 102 |
Lofterne for IQ-undertests er pålagt af deres intervaller med gradvist sværere opgaver. En IQ-test med et bredt spektrum af gradvist sværere spørgsmål vil have et højere loft end en test med et snævert spektrum og få svære spørgsmål. Loftseffekter resulterer for det første i en manglende evne til at skelne mellem de begavede (om de er moderat begavede, dybt begavede osv.) og for det andet i en fejlagtig klassificering af nogle begavede mennesker som værende over gennemsnittet, men ikke begavede.
Sæt, at en IQ-test har tre delprøver: ordforråd, aritmetik og billedanalogier. Scorerne på hver af delprøverne normaliseres (se standardscore) og lægges derefter sammen for at opnå en sammensat IQ-score. Lad os nu antage, at Joe opnår den maksimale score på 20 i aritmetiktesten, men får 10 ud af 20 i ordforråds- og analogitestene. Er det rimeligt at sige, at Joes samlede score på 20+10+10+10, eller 40, repræsenterer hans samlede evner? Svaret er nej, fordi Joe opnåede den maksimalt mulige score på 20 i aritmetikprøven. Hvis aritmetiktesten havde indeholdt yderligere, vanskeligere opgaver, kunne Joe have fået 30 point på denne delprøve, hvilket ville have givet en “sand” score på 30+10+10+10 eller 50. Sammenlign Joes præstation med Jims præstation, som scorede 15+15+15+15 = 45 uden at støde på nogen delprøvelofter. I den oprindelige formulering af testen klarede Jim sig bedre end Joe (45 mod 40), mens det er Joe, der faktisk burde have fået den højere “samlede” intelligensscore end Jim (score på 50 for Joe mod 45 for Jim) ved hjælp af en omformuleret test, der indeholder sværere aritmetiske opgaver.
Skrivelser om begavet undervisning bringer to grunde til at antage, at nogle IQ-scores er undervurderinger af en testtagers intelligens:
- de har en tendens til at klare alle delprøver bedre end mindre begavede mennesker;
- de har en tendens til at klare sig meget bedre på nogle delprøver end andre, hvilket øger variabiliteten mellem delprøverne og chancen for, at man støder på et loft.
Statistisk analyseRediger
Loftvirkninger på målingerne kompromitterer den videnskabelige sandhed og forståelse gennem en række beslægtede statistiske afvigelser.
For det første forringer lofter undersøgernes evne til at bestemme den centrale tendens i dataene. Når en loftseffekt vedrører data indsamlet om en afhængig variabel, kan manglende anerkendelse af denne loftseffekt “føre til den fejlagtige konklusion, at den uafhængige variabel ikke har nogen effekt”. Af matematiske årsager, der ligger uden for denne artikels rækkevidde (se variansanalyse), reducerer denne hæmmede varians følsomheden af videnskabelige eksperimenter, der er designet til at afgøre, om gennemsnittet af en gruppe er signifikant forskelligt fra gennemsnittet af en anden gruppe. F.eks. kan en behandling, der gives til en gruppe, give en effekt, men effekten kan undgå at blive opdaget, fordi gennemsnittet af den behandlede gruppe ikke vil se tilstrækkeligt forskelligt ud fra gennemsnittet af den ubehandlede gruppe.
Dermed er “loftseffekter et kompleks af spørgsmål og deres undgåelse et spørgsmål om omhyggelig vurdering af en række spørgsmål.”
ForebyggelseBearbejd
Da loftseffekter forhindrer en præcis fortolkning af data, er det vigtigt at forsøge at forhindre, at effekterne opstår, eller at bruge tilstedeværelsen af effekterne til at justere det anvendte instrument og de anvendte procedurer. Forskere kan forsøge at forhindre loftseffekter i at forekomme ved hjælp af en række metoder. Den første er at vælge en tidligere valideret måling ved at gennemgå tidligere forskning. Hvis der ikke findes validerede målinger, kan der gennemføres pilottest ved hjælp af de foreslåede metoder. Pilotforsøg, eller gennemførelse af et pilotforsøg, indebærer en afprøvning af instrumenter og procedurer i lille skala forud for det egentlige forsøg, hvilket gør det muligt at erkende, at der bør foretages justeringer for at opnå den mest effektive og præcise dataindsamling. Hvis forskerne anvender et design, der ikke tidligere er valideret, kan der anvendes en kombination af undersøgelser, herunder den oprindeligt foreslåede undersøgelse og en anden, der støttes af tidligere litteratur, for at vurdere forekomsten af loftseffekter. Hvis en undersøgelse, især pilotundersøgelsen, viser en loftseffekt, bør der gøres en indsats for at justere instrumentet, således at effekten kan afbødes, og der kan gennemføres informativ forskning.