Kattovaikutus tiedonkeruussa, kun riippuvaisen muuttujan varianssia ei mitata tai estimoida tiettyä tasoa suuremmaksi, on yleisesti esiintyvä käytännöllinen ongelma tiedonkeruussa monilla tieteenaloilla. Tällainen vaikutus on usein seurausta tiedonkeruuvälineisiin liittyvistä rajoituksista. Kun tiedonkeruussa esiintyy kattovaikutusta, mittarin raportoimat tulokset kasaantuvat ylemmälle tasolle.
Response bias constraintsEdit
Response bias esiintyy yleisesti tutkimuksissa, jotka koskevat asioita, joilla voi olla eettisiä perusteita tai joilla yleisesti koetaan olevan kielteisiä konnotaatioita. Osallistujat saattavat jättää vastaamatta toimenpiteeseen asianmukaisesti sen perusteella, uskovatko he, että täsmällinen vastaus nähdään kielteisenä. Väestötutkimus, joka koskee terveyteen vaikuttavia elämäntapamuuttujia, saattaa sisältää kysymyksen tupakointitottumuksista. Jotta vältyttäisiin siltä mahdollisuudelta, että voimakkaasti tupakoiva vastaaja kieltäytyisi antamasta tarkkaa vastausta tupakoinnista, kyselyvälineessä kysytty korkein tupakointitaso voisi olla ”kaksi askia päivässä tai enemmän”. Tämä johtaa kattovaikutukseen, sillä henkilöitä, jotka polttavat kolme askia tai enemmän päivässä, ei eroteta henkilöistä, jotka polttavat tasan kaksi askia. Vastaavasti tuloja koskevassa väestötutkimuksessa korkein vastaustaso voisi olla ”vähintään 100 000 dollaria vuodessa” sen sijaan, että se sisältäisi korkeampia tuloluokkia, koska vastaajat saattaisivat kieltäytyä vastaamasta lainkaan, jos tutkimuskysymyksissä määriteltäisiin heidän tulonsa liian tarkasti. Tämäkin johtaa kattovaikutukseen, sillä näin ei voida erottaa henkilöitä, joiden tulot ovat vähintään 500 000 dollaria vuodessa, niistä, joiden tulot ovat tasan 100 000 dollaria vuodessa. Vastausharhan merkitys kattovaikutusten aiheuttajana näkyy selvästi esimerkissä, jossa kyselyyn vastanneet uskovat toivotun vastauksen olevan suurin raportoitava arvo, mikä johtaa datapisteiden klusteroitumiseen. Tupakointitottumuksia koskevan tutkimuksen tapauksessa vastausharhaa yritetään ehkäistä, mutta se johtaa kattovaikutuksiin toimenpiteen perussuunnittelun vuoksi.
Mittarin käyttöalueeseen liittyvät rajoituksetEdit
Tietyn mittarin avulla kerättävien tietojen käyttöaluetta voivat rajoittaa mittarin suunnittelussa olevat luontaiset rajoitukset. Usein tietyn instrumentin suunnitteluun liittyy kompromisseja katto- ja alarajavaikutusten välillä. Jos nominaaliasteikolla mitattavalla riippuvaisella muuttujalla ei ole vastausluokkia, jotka kattavat asianmukaisesti otoksen jakauman ylärajan, enimmäisarvovastaukseen on sisällytettävä kaikki asteikon ylärajan yläpuolella olevat arvot. Tämä johtaa kattovaikutukseen, koska vastaajat ryhmitellään yhteen enimmäisarvoluokkaan, mikä estää kyseisen pisteen ylittävän poikkeaman tarkan esittämisen. Tätä ongelmaa esiintyy monissa kyselytyypeissä, joissa käytetään ennalta määrättyjä suluissa olevia vastauksia. Kun monilla koehenkilöillä on muuttujan pisteet mittarin ilmoittaman ylärajan tuntumassa, data-analyysi antaa epätarkkaa tietoa, koska osa aineiston todellisesta vaihtelusta ei näy kyseisestä mittarista saaduissa pisteissä.
Kattovaikutuksen sanotaan ilmenevän, kun suurella osalla tutkimuksen koehenkilöistä on havaitun muuttujan maksimipisteet. Tämä tekee mahdottomaksi koehenkilöiden erottelun asteikon yläpäästä. Esimerkiksi koetehtävä voi johtaa siihen, että vaikkapa 50 % opiskelijoista saa 100 %:n pistemäärän. Vaikka tällainen koetehtävä voi toimia hyödyllisenä kynnystestinä, se ei mahdollista huippusuorittajien sijoittamista paremmuusjärjestykseen. Tästä syystä koetulosten tarkastelu mahdollisen kattovaikutuksen ja päinvastaisen lattiavaikutuksen varalta on usein sisällytetty esimerkiksi elämänlaadun mittaamiseen käytettävien mittareiden validointiin.
Tällöin kattovaikutus estää mittaria merkitsemästä mittaustulosta tai estimaattia, joka ylittää jonkin rajan, joka ei liity havainnoitavaan ilmiöön vaan pikemminkin mittarin suunnitteluun. Karkea esimerkki olisi puiden korkeuden mittaaminen vain 20 metriä pitkällä viivoittimella, jos muiden todisteiden perusteella on ilmeistä, että puita on paljon yli 20 metriä korkeita. Jos 20-metristä viivoitinta käytettäisiin ainoana puiden mittausvälineenä, puiden korkeutta koskevien tietojen keräämiselle asetettaisiin yläraja. Sekä katto- että lattiavaikutukset rajoittavat mittarin ilmoittamien tietojen vaihteluväliä ja vähentävät näin kerättyjen tietojen vaihtelua. Yhdestä muuttujasta kerättyjen tietojen rajoitettu vaihtelevuus voi vähentää kyseisen muuttujan ja toisen muuttujan välisiä korrelaatioita koskevien tilastojen tehoa.
Korkeakoulujen pääsykokeet Muokkaa
Edit
Monissa maissa, joissa käytetään pääsykokeita tärkeimpänä tai tärkeimpänä elementtinä määriteltäessä kelpoisuutta korkeakouluopintoihin tai yliopisto-opintoihin, kerätyt tiedot liittyvät hakijoiden eritasoiseen suoriutumiseen kokeissa. Kun korkeakoulun valintakokeessa on maksimipistemäärä, joka voidaan saavuttaa ilman täydellistä suoriutumista kokeen tehtäväsisällöstä, kokeen pisteytysasteikolla on kattovaikutus. Jos testin tehtäväsisältö on helppo monille testin suorittajille, testi ei välttämättä heijasta todellisia eroja suorituskyvyssä (kuten muilla mittareilla havaittaisiin) testin suorittajien välillä testin suorituskyvyn ylärajoilla. Matematiikan testit, joita käytetään Yhdysvalloissa korkeakouluihin pääsyyn, ja vastaavat testit, joita käytetään Isossa-Britanniassa yliopistoihin pääsyyn, havainnollistavat molempia ilmiöitä.
Kognitiivinen psykologia Muokkaa
Kognitiivisessa psykologiassa psyykkisiä prosesseja, kuten ongelmanratkaisua ja muistiin painamista, tutkitaan kokeellisesti käyttämällä operationaalisia määritelmiä, jotka mahdollistavat selkeät mittaukset. Yleinen kiinnostava mittaustapa on aika, joka kuluu tiettyyn ärsykkeeseen vastaamiseen. Tätä muuttujaa tutkittaessa katto voi olla pienin mahdollinen luku (vähiten millisekunteja vasteeseen), eikä suurin arvo, kuten ”katto” tavallisesti tulkitaan. Vasteaikatutkimuksissa voi vaikuttaa siltä, että mittauksissa on ilmennyt katto, koska näennäinen ryhmittyminen jonkin vähimmäisaikamäärän ympärille (kuten nopein kokeessa kirjattu aika). Tämä klusteroituminen voi kuitenkin itse asiassa edustaa vasteajan luonnollista fysiologista rajaa eikä sekuntikellon herkkyyden aiheuttamaa artefaktia (mikä tietysti olisi kattovaikutus). Tilastollinen jatkotutkimus ja tieteellinen harkinta voivat ratkaista, johtuvatko havainnot kattovaikutuksesta vai ovatko ne totuudenmukaisia.
Instrumenttirajoitusten validiteetti Muokkaa
ÄO-testaus Muokkaa
Jotkut lahjakkuuskasvatusta käsittelevät kirjoittajat kirjoittavat älykkyysosamäärän testauksessa esiintyvistä kattovaikutuksista, joilla on kielteisiä seurauksia yksilöille. Nämä kirjoittajat väittävät joskus, että tällaiset ylärajat johtavat älyllisesti lahjakkaiden ihmisten ÄO:n systemaattiseen aliarviointiin. Tässä tapauksessa on syytä erottaa huolellisesti kaksi erilaista tapaa, joilla termiä ”katto” käytetään älykkyysosamäärän testausta koskevissa kirjoituksissa.
| Opiskelija | KABC-II | WISC-III | WJ-luokitus.III |
|---|---|---|---|
| Asher | 90 | 95 | 111 |
| Brianna | 125 | 110 | 105 |
| Colin | 100 | 93 | 101 |
| Danica | 116 | 127 | 118 |
| Elpha | 93 | 105 | 93 |
| Fritz | 106 | 105 | 105 |
| Georgi | 95 | 100 | 90 |
| Hector | 112 | 113 | 103 |
| Imelda | 104 | 96 | 97 |
| Jose | 101 | 99 | 86 |
| Keoku | 81 | 78 | 75 |
| Leo | 116 | 124 | 102 |
Älykkyysosamäärän osatestien ylärajat asetetaan asteittain vaikeampien kohteiden vaihteluvälillä. ÄO-testillä, jossa on laaja valikoima asteittain vaikeutuvia kysymyksiä, on korkeampi yläraja kuin testillä, jossa on kapea valikoima ja vähän vaikeita kysymyksiä. Kattovaikutukset johtavat ensinnäkin siihen, että lahjakkaita ei pystytä erottamaan toisistaan (olivatpa he sitten kohtalaisen lahjakkaita, erittäin lahjakkaita jne.), ja toiseksi siihen, että jotkut lahjakkaat luokitellaan virheellisesti keskimääräistä paremmiksi mutta ei lahjakkaiksi.
Esitettäköön, että älykkyysosamäärää mittaavassa testissä on kolme alatestiä: sanasto, aritmeettinen laskutoimitukset ja kuva-analogiat. Kunkin osatestin pisteet normalisoidaan (ks. standardipisteet) ja lasketaan sitten yhteen, jotta saadaan yhdistetty ÄO-pistemäärä. Oletetaan, että Joe saa aritmeettisesta testistä maksimipistemäärän 20, mutta saa sanasto- ja analogiatesteistä 10 pistettä 20:stä. Voidaanko sanoa, että Joen kokonaispistemäärä 20+10+10 eli 40 vastaa hänen kokonaiskykyään? Vastaus on ei, koska Joe saavutti aritmetiikkakokeessa maksimipistemäärän 20, joka on mahdollinen. Jos aritmeettisessa kokeessa olisi ollut lisää vaikeampia tehtäviä, Joe olisi saattanut saada 30 pistettä kyseisestä osatestistä, jolloin ”todellinen” pistemäärä olisi ollut 30+10+10 eli 50. Vertaa Joen suoritusta Jimin suoritukseen, joka sai 15+15+15 = 45 pistettä joutumatta minkään osatestin ylärajoihin. Testin alkuperäisessä muotoilussa Jim pärjäsi paremmin kuin Joe (45 vs. 40), kun taas Joe:n olisi itse asiassa pitänyt saada korkeampi älykkyyden kokonaispistemäärä kuin Jimin (Joen pistemäärä 50 vs. Jimin 45), kun käytetään uudelleen muotoiltua testiä, joka sisältää vaikeampia aritmeettisia tehtäviä.
Lahjakkaiden koulutusta koskevissa kirjoituksissa tuodaan esiin kaksi syytä olettaa, että jotkin älykkyysosamääräpistemäärät aliarvioivat testattavan älykkyyttä:
- heillä on taipumus suoriutua kaikista osatesteistä paremmin kuin vähemmän lahjakkaat ihmiset;
- heillä on taipumus suoriutua joistakin osatesteistä paljon paremmin kuin toisista testeistä, mikä kasvattaa osatestien keskinäistä vaihtelevuutta ja lisää todennäköisyyttä, että testattavan älykkyysosamäärä saavuttaa ylärajan.
Tilastollinen analyysiEdit
Kattovaikutukset mittauksissa vaarantavat tieteellisen totuuden ja ymmärryksen useiden toisiinsa liittyvien tilastollisten hairahdusten kautta.
Ensiksi kattovaikutukset heikentävät tutkijoiden kykyä määrittää aineiston keskitendenssi. Kun kattovaikutus liittyy riippuvasta muuttujasta kerättyihin tietoihin, kattovaikutuksen tunnistamatta jättäminen voi ”johtaa siihen virheelliseen johtopäätökseen, että riippumattomalla muuttujalla ei ole vaikutusta”. Matemaattisista syistä, jotka eivät kuulu tämän artikkelin piiriin (ks. varianssianalyysi), tämä estetty varianssi vähentää sellaisten tieteellisten kokeiden herkkyyttä, joiden tarkoituksena on määrittää, poikkeaako yhden ryhmän keskiarvo merkittävästi toisen ryhmän keskiarvosta. Esimerkiksi yhdelle ryhmälle annettu hoito voi tuottaa vaikutuksen, mutta vaikutus saattaa jäädä havaitsematta, koska käsitellyn ryhmän keskiarvo ei näytä riittävän erilaiselta kuin käsittelemättömän ryhmän keskiarvo.
Siten ”kattovaikutukset ovat monitahoinen asia ja niiden välttäminen on monenlaisten seikkojen huolellisen arvioinnin asia”.”
EnnaltaehkäisyEdit
Koska kattovaikutukset estävät aineiston tarkan tulkinnan, on tärkeää pyrkiä estämään vaikutusten esiintyminen tai käyttää vaikutusten esiintymistä käytetyn instrumentin ja menettelyjen mukauttamiseen. Tutkijat voivat yrittää estää kattovaikutusten esiintymisen käyttämällä useita menetelmiä. Ensimmäinen niistä on valita aiemmin validoitu mittari tarkastelemalla aiempia tutkimuksia. Jos validoituja mittareita ei ole olemassa, voidaan tehdä pilottitestejä ehdotettujen menetelmien avulla. Pilottitestaukseen eli pilottikokeen suorittamiseen kuuluu välineiden ja menettelyjen pienimuotoinen kokeilu ennen varsinaista koetta, jolloin voidaan havaita, että mukautuksia olisi tehtävä mahdollisimman tehokkaan ja tarkan tiedonkeruun varmistamiseksi. Jos tutkijat käyttävät tutkimussuunnitelmaa, jota ei ole aiemmin validoitu, kattovaikutusten esiintymisen arvioimiseksi voidaan käyttää tutkimusten yhdistelmää, johon sisältyy alun perin ehdotettu tutkimus ja toinen aiemmassa kirjallisuudessa tuettu tutkimus. Jos jokin tutkimus, erityisesti pilottitutkimus, osoittaa kattovaikutusta, olisi pyrittävä mukauttamaan instrumenttia, jotta vaikutusta voidaan lieventää ja jotta voidaan tehdä informatiivista tutkimusta.