De acordo com Pliskin et al., o modelo QALY requer um comportamento de troca proporcional, independente da utilidade, neutro ao risco e constante. Devido a esses pressupostos teóricos, o significado e a utilidade do QALY é debatido. A saúde perfeita é difícil, se não impossível, de definir. Alguns argumentam que há estados de saúde piores do que estar morto e que, portanto, deveria haver valores negativos possíveis no espectro da saúde (de fato, alguns economistas de saúde incorporaram valores negativos nos cálculos). A determinação do nível de saúde depende de medidas que alguns argumentam que dão uma importância desproporcional à dor física ou incapacidade sobre a saúde mental.
O método de classificar as intervenções com base no seu custo por QALY ganhou ratio (ou ICER) é controverso porque implica um cálculo quase utilitário para determinar quem receberá ou não tratamento. No entanto, seus apoiadores argumentam que, como os recursos de saúde são inevitavelmente limitados, este método permite que eles sejam alocados da forma que é aproximadamente ótima para a sociedade, incluindo a maioria dos pacientes. Outra preocupação é que ele não leva em conta questões de equidade, como a distribuição geral dos estados de saúde – particularmente porque coortes mais jovens e saudáveis têm muitas vezes mais QALYs do que indivíduos mais velhos ou mais doentes. Como resultado, a análise de QALY pode subestimar os tratamentos que beneficiam os idosos ou outros com uma menor esperança de vida. Além disso, muitos argumentariam que sendo todos os outros iguais, os pacientes com doenças mais graves deveriam ter prioridade sobre os pacientes com doenças menos graves se ambos obtivessem o mesmo aumento absoluto de utilidade.
Já em 1989, Loomes e McKenzie recomendaram que se realizasse uma pesquisa sobre a validade dos QALYs. Em 2010, com o financiamento da Comissão Europeia, o Consórcio Europeu em Resultados de Cuidados de Saúde e Pesquisa de Custo-Benefício (ECHOUTCOME) iniciou um grande estudo sobre os QALYs como utilizados na avaliação de tecnologias de saúde. Ariel Beresniak, o autor principal do estudo, foi citado como o “maior estudo dedicado especificamente a testar os pressupostos do QALY”. Em janeiro de 2013, em sua conferência final, ECHOUTCOME divulgou os resultados preliminares de seu estudo que entrevistou 1361 pessoas “do meio acadêmico” na Bélgica, França, Itália e Reino Unido. Os investigadores pediram aos sujeitos para responderem a 14 perguntas sobre as suas preferências por vários estados de saúde e durações desses estados (por exemplo, 15 anos a coxear contra 5 anos numa cadeira de rodas). Eles concluíram que “as preferências expressas pelos entrevistados não eram consistentes com os pressupostos teóricos QALY” de que a qualidade de vida pode ser medida em intervalos consistentes, que os anos de vida e a qualidade de vida são independentes uns dos outros, que as pessoas são neutras quanto ao risco e que a vontade de ganhar ou perder anos de vida é constante ao longo do tempo. ECHOUTCOME também publicou “European Guidelines for Cost-Effectiveness Assessments of Health Technologies”, que recomenda a não utilização de QALYs na tomada de decisões sobre cuidados de saúde. Em resposta ao estudo ECHOUTCOME, representantes do National Institute for Health and Care Excellence, do Scottish Medicines Consortium e da Organisation for Economic Co-operation and Development (Organização para a Cooperação e Desenvolvimento Econômico) fizeram os seguintes comentários. Primeiro, os QALYs são melhores do que as medidas alternativas. Em segundo lugar, o estudo foi “limitado”. Em terceiro lugar, os problemas com os QALYs já eram amplamente reconhecidos. Quarto, os pesquisadores não levaram em consideração as restrições orçamentárias. Quinto, o National Institute for Health and Care Excellence do Reino Unido usa QALYs que são baseados em 3395 entrevistas com residentes do Reino Unido, em oposição aos residentes de vários países europeus. Finalmente, de acordo com Franco Sassi, economista sênior de saúde da Organização para Cooperação e Desenvolvimento Econômico, as pessoas que apelam para a eliminação dos QALYs podem ter “interesses adquiridos”
.