El efecto techo en la recogida de datos, cuando la varianza de una variable dependiente no se mide o estima por encima de un determinado nivel, es un problema práctico que se encuentra habitualmente en la recogida de datos en muchas disciplinas científicas. Este efecto suele ser el resultado de las limitaciones de los instrumentos de recogida de datos. Cuando se produce un efecto techo en la recogida de datos, se produce un amontonamiento de las puntuaciones en el nivel superior notificado por un instrumento.
Las limitaciones del sesgo de respuestaEditar
El sesgo de respuesta se produce comúnmente en la investigación relativa a cuestiones que pueden tener bases éticas o que generalmente se perciben como de connotación negativa. Los participantes pueden no responder a una medida de forma adecuada en función de si creen que la respuesta correcta es vista de forma negativa. Una encuesta de población sobre las variables de estilo de vida que influyen en los resultados de salud podría incluir una pregunta sobre el hábito de fumar. Para evitar la posibilidad de que un encuestado que sea un fumador empedernido se niegue a dar una respuesta precisa sobre el tabaquismo, el nivel más alto de tabaquismo preguntado en el instrumento de la encuesta podría ser «dos paquetes al día o más». Esto da lugar a un efecto techo, ya que las personas que fuman tres paquetes o más al día no se distinguen de las que fuman exactamente dos paquetes. Del mismo modo, una encuesta de población sobre los ingresos podría tener un nivel de respuesta máximo de «100.000 dólares al año o más», en lugar de incluir rangos de ingresos más altos, ya que los encuestados podrían negarse a responder si las preguntas de la encuesta identifican sus ingresos de forma demasiado específica. Esto también da lugar a un efecto techo, al no distinguir a las personas que tienen unos ingresos de 500.000 dólares al año o más de aquellas cuyos ingresos son exactamente de 100.000 dólares al año. El papel del sesgo de respuesta en la causa de los efectos techo se ve claramente a través del ejemplo de los encuestados que creen que la respuesta deseable es el valor máximo notificable, lo que resulta en una agrupación de puntos de datos. El intento de prevenir el sesgo de respuesta, en el caso de la encuesta sobre el hábito de fumar, conduce a los efectos techo a través del diseño básico de la medida.
Restricciones del rango del instrumentoEditar
El rango de datos que puede ser recogido por un instrumento particular puede estar restringido por los límites inherentes al diseño del instrumento. A menudo, el diseño de un instrumento concreto implica un compromiso entre los efectos techo y los efectos suelo. Si una variable dependiente medida en una escala nominal no tiene categorías de respuesta que cubran adecuadamente el extremo superior de la distribución de la muestra, el valor máximo de respuesta tendrá que incluir todos los valores por encima del extremo de la escala. Esto dará lugar a un efecto techo debido a la agrupación de los encuestados en la única categoría máxima, lo que impide una representación precisa de la desviación más allá de ese punto. Este problema se produce en muchos tipos de encuestas que utilizan respuestas predeterminadas de tipo bracket. Cuando muchos sujetos tienen puntuaciones en una variable en el límite superior de lo que informa un instrumento, el análisis de los datos proporciona información inexacta porque parte de la variación real de los datos no se refleja en las puntuaciones obtenidas de ese instrumento.
Se dice que hay un efecto techo cuando una alta proporción de sujetos en un estudio tiene puntuaciones máximas en la variable observada. Esto hace imposible la discriminación entre sujetos entre el extremo superior de la escala. Por ejemplo, un trabajo de examen puede dar lugar a que, por ejemplo, el 50% de los estudiantes obtenga una puntuación del 100%. Si bien dicho trabajo puede servir como una prueba de umbral útil, no permite clasificar a los que obtienen los mejores resultados. Por esta razón, el examen de los resultados de las pruebas para detectar un posible efecto techo, y el efecto suelo a la inversa, se incorpora a menudo a la validación de instrumentos como los utilizados para medir la calidad de vida.
En tal caso, el efecto techo impide que el instrumento anote una medición o estimación superior a algún límite no relacionado con el fenómeno observado, sino con el diseño del instrumento. Un ejemplo burdo sería medir la altura de los árboles con una regla de sólo 20 metros de longitud, si es evidente, sobre la base de otras pruebas, que hay árboles mucho más altos de 20 metros. Utilizar la regla de 20 metros como único medio para medir los árboles impondría un techo a la recogida de datos sobre la altura de los árboles. Tanto el efecto techo como el efecto suelo limitan el rango de datos reportados por el instrumento, reduciendo la variabilidad de los datos recogidos. La variabilidad limitada de los datos recogidos sobre una variable puede reducir la potencia de las estadísticas sobre las correlaciones entre esa variable y otra variable.
Pruebas de admisión a la universidadEditar
En los diversos países que utilizan pruebas de admisión como elemento principal o importante para determinar la elegibilidad para los estudios universitarios, los datos recogidos se refieren a los diferentes niveles de rendimiento de los solicitantes en las pruebas. Cuando una prueba de acceso a la universidad tiene una puntuación máxima posible que puede alcanzarse sin un rendimiento perfecto en el contenido de los ítems de la prueba, la escala de puntuación de la prueba tiene un efecto techo. Además, si el contenido de los ítems del test es fácil para muchos examinados, es posible que el test no refleje las diferencias reales de rendimiento (como se detectaría con otros instrumentos) entre los examinados en el extremo superior del rango de rendimiento del test. Los exámenes de matemáticas utilizados para la admisión a la universidad en Estados Unidos y otros similares utilizados para la admisión a la universidad en Gran Bretaña ilustran ambos fenómenos.
Psicología cognitivaEditar
En la psicología cognitiva, los procesos mentales como la resolución de problemas y la memorización se estudian experimentalmente utilizando definiciones operativas que permiten realizar mediciones claras. Una medida común de interés es el tiempo que se tarda en responder a un estímulo determinado. Al estudiar esta variable, el techo puede ser el número más bajo posible (el menor número de milisegundos para una respuesta), en lugar del valor más alto, como es la interpretación habitual de «techo». En los estudios sobre el tiempo de respuesta, puede parecer que se ha producido un techo en las mediciones debido a una aparente agrupación en torno a una cantidad mínima de tiempo (como el tiempo más rápido registrado en un experimento). Sin embargo, esta agrupación podría representar en realidad un límite fisiológico natural del tiempo de respuesta, en lugar de un artefacto de la sensibilidad del cronómetro (que por supuesto sería un efecto techo). Un estudio estadístico adicional, y el juicio científico, pueden resolver si las observaciones se deben o no a un techo o son la verdad del asunto.
Validez de las restricciones de los instrumentosEditar
Pruebas de CI Editar
Algunos autores sobre educación de superdotados escriben sobre los efectos de techo en las pruebas de CI que tienen consecuencias negativas en los individuos. Estos autores afirman a veces que dichos techos producen una subestimación sistemática de los CI de las personas intelectualmente superdotadas. En este caso, es necesario distinguir cuidadosamente dos formas diferentes en las que se utiliza el término «techo» en los escritos sobre las pruebas de CI.
| Alumno | KABC-II | WISC-III | WJ-III |
|---|---|---|---|
| Asher | 90 | 95 | 111 |
| Brianna | 125 | 110 | 105 |
| Colin | 100 | 93 | 101 |
| Danica | 116 | 127 | 118 |
| Elpha | 93 | 105 | 93 |
| Fritz | 106 | 105 | 105 |
| Georgi | 95 | 100 | 90 |
| Hector | 112 | 113 | 103 |
| Imelda | 104 | 96 | 97 |
| José | 101 | 99 | 86 |
| Keoku | 81 | 78 | 75 |
| Leo | 116 | 124 | 102 |
Los techos de las subpruebas de CI vienen impuestos por sus rangos de ítems progresivamente más difíciles. Un test de CI con un amplio rango de preguntas progresivamente más difíciles tendrá un techo más alto que uno con un rango estrecho y pocos ítems difíciles. Los efectos de techo provocan, en primer lugar, la incapacidad de distinguir entre los superdotados (ya sean moderadamente superdotados, profundamente superdotados, etc.) y, en segundo lugar, da lugar a la clasificación errónea de algunas personas superdotadas como superiores a la media, pero no superdotadas.
Supongamos que un test de CI tiene tres subpruebas: vocabulario, aritmética y analogías de imágenes. Las puntuaciones de cada una de las subpruebas se normalizan (véase la puntuación estándar) y luego se suman para obtener una puntuación de CI compuesta. Supongamos ahora que Joe obtiene la puntuación máxima de 20 en la prueba de aritmética, pero obtiene 10 de 20 en las pruebas de vocabulario y analogías. ¿Es justo decir que la puntuación total de Joe de 20+10+10, o sea 40, representa su capacidad total? La respuesta es no, porque Joe obtuvo la máxima puntuación posible de 20 en la prueba de aritmética. Si la prueba de aritmética hubiera incluido elementos adicionales más difíciles, Joe podría haber obtenido 30 puntos en esa subprueba, produciendo una puntuación «verdadera» de 30+10+10 o 50. Compárese el rendimiento de Joe con el de Jim, que obtuvo 15+15+15 = 45, sin encontrarse con ningún límite de la subprueba. En la formulación original del test, Jim lo hizo mejor que Joe (45 frente a 40), mientras que es Joe quien en realidad debería haber obtenido la puntuación «total» de inteligencia más alta que Jim (puntuación de 50 para Joe frente a 45 para Jim) utilizando un test reformulado que incluye ítems aritméticos más difíciles.
Los escritos sobre la educación de los superdotados plantean dos razones para suponer que algunas puntuaciones de CI son subestimaciones de la inteligencia de la persona que realiza el test:
- tienden a realizar todas las subpruebas mejor que las personas con menos talento;
- tienden a hacerlo mucho mejor en algunas subpruebas que en otras, lo que aumenta la variabilidad entre subpruebas y la posibilidad de que se encuentre un techo.
Análisis estadísticoEditar
Los efectos de techo en la medición comprometen la verdad y la comprensión científicas a través de una serie de aberraciones estadísticas relacionadas.
En primer lugar, los techos perjudican la capacidad de los investigadores para determinar la tendencia central de los datos. Cuando un efecto techo se refiere a los datos recogidos sobre una variable dependiente, no reconocer ese efecto techo puede «llevar a la conclusión errónea de que la variable independiente no tiene ningún efecto.» Por razones matemáticas que escapan al alcance de este artículo (véase el análisis de la varianza), esta varianza inhibida reduce la sensibilidad de los experimentos científicos diseñados para determinar si la media de un grupo es significativamente diferente de la media de otro grupo. Por ejemplo, un tratamiento administrado a un grupo puede producir un efecto, pero el efecto puede escapar a la detección porque la media del grupo tratado no se verá lo suficientemente diferente de la media del grupo no tratado.
Por lo tanto, «los efectos techo son un complejo de asuntos y su evitación una cuestión de evaluación cuidadosa de una serie de cuestiones.»
PrevenciónEditar
Debido a que los efectos techo impiden una interpretación precisa de los datos, es importante intentar evitar que se produzcan los efectos o utilizar la presencia de los mismos para ajustar el instrumento y los procedimientos que se utilizaron. Los investigadores pueden intentar evitar que se produzcan los efectos techo utilizando varios métodos. El primero de ellos es elegir una medida previamente validada mediante la revisión de investigaciones anteriores. Si no existen medidas validadas, se puede realizar una prueba piloto utilizando los métodos propuestos. Las pruebas piloto, o la realización de un experimento piloto, implican un ensayo a pequeña escala de los instrumentos y los procedimientos antes del experimento real, lo que permite reconocer que deben hacerse ajustes para la recogida de datos más eficiente y precisa. Si los investigadores utilizan un diseño que no ha sido validado previamente, se puede utilizar una combinación de encuestas, que incluya la originalmente propuesta y otra respaldada por la literatura anterior, para evaluar la presencia de efectos techo. Si cualquier investigación, especialmente el estudio piloto, muestra un efecto techo, deben hacerse esfuerzos para ajustar el instrumento de manera que el efecto pueda ser mitigado y se pueda llevar a cabo una investigación informativa.