Según Pliskin et al., el modelo QALY requiere un comportamiento de compensación independiente de la utilidad, neutral al riesgo y proporcional constante. Debido a estos supuestos teóricos, el significado y la utilidad del QALY son objeto de debate. La salud perfecta es difícil, si no imposible, de definir. Algunos sostienen que hay estados de salud peores que estar muerto y que, por tanto, debería haber valores negativos posibles en el espectro de la salud (de hecho, algunos economistas de la salud han incorporado valores negativos en los cálculos). La determinación del nivel de salud depende de medidas que, según algunos, dan una importancia desproporcionada al dolor físico o a la discapacidad frente a la salud mental.
El método de clasificar las intervenciones en función de su ratio de coste por QALY ganado (o ICER) es controvertido porque implica un cálculo casi utilitario para determinar quién recibirá o no un tratamiento. Sin embargo, sus partidarios sostienen que, dado que los recursos sanitarios son inevitablemente limitados, este método permite asignarlos de la forma que sea aproximadamente óptima para la sociedad, incluida la mayoría de los pacientes. Otro motivo de preocupación es que no tiene en cuenta cuestiones de equidad, como la distribución global de los estados de salud, sobre todo porque las cohortes más jóvenes y sanas tienen muchos más AVAC que los individuos de más edad o más enfermos. En consecuencia, el análisis de los AVAC puede infravalorar los tratamientos que benefician a las personas mayores o a otras con menor esperanza de vida. Además, muchos argumentarían que, en igualdad de condiciones, los pacientes con enfermedades más graves deberían tener prioridad sobre los pacientes con enfermedades menos graves si ambos obtuvieran el mismo aumento absoluto de utilidad.
Ya en 1989, Loomes y McKenzie recomendaron que se realizara una investigación sobre la validez de los AVAC. En 2010, con la financiación de la Comisión Europea, el European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME) inició un importante estudio sobre los AVAC utilizados en la evaluación de tecnologías sanitarias. Ariel Beresniak, el autor principal del estudio, fue citado diciendo que era el «mayor estudio de la historia dedicado específicamente a probar los supuestos del QALY.» En enero de 2013, en su conferencia final, ECHOUTCOME dio a conocer los resultados preliminares de su estudio, en el que se encuestó a 1361 personas «del mundo académico» en Bélgica, Francia, Italia y el Reino Unido. Los investigadores pidieron a los sujetos que respondieran a 14 preguntas sobre sus preferencias por diversos estados de salud y la duración de los mismos (por ejemplo, 15 años cojeando frente a 5 años en silla de ruedas). Llegaron a la conclusión de que «las preferencias expresadas por los encuestados no eran coherentes con los supuestos teóricos de los AVAC», es decir, que la calidad de vida puede medirse en intervalos coherentes, que los años de vida y la calidad de vida son independientes entre sí, que las personas son neutrales respecto al riesgo y que la disposición a ganar o perder años de vida es constante a lo largo del tiempo. ECHOUTCOME también publicó las «Directrices europeas para la evaluación de la rentabilidad de las tecnologías sanitarias», que recomendaban no utilizar los AVAC en la toma de decisiones sanitarias. En su lugar, las directrices recomendaban que los análisis de rentabilidad se centraran en los «costes por resultado clínico relevante».
En respuesta al estudio ECHOUTCOME, los representantes del National Institute for Health and Care Excellence, el Scottish Medicines Consortium y la Organización para la Cooperación y el Desarrollo Económicos señalaron lo siguiente. En primer lugar, los AVAC son mejores que las medidas alternativas. Segundo, el estudio era «limitado». Tercero, los problemas con los AVAC ya estaban ampliamente reconocidos. En cuarto lugar, los investigadores no tuvieron en cuenta las limitaciones presupuestarias. En quinto lugar, el National Institute for Health and Care Excellence del Reino Unido utiliza QALYs que se basan en 3.395 entrevistas con residentes del Reino Unido, a diferencia de los residentes de varios países europeos. Por último, según Franco Sassi, economista sanitario senior de la Organización para la Cooperación y el Desarrollo Económico, las personas que piden la eliminación de los AVAC pueden tener «intereses creados»
.