Selon Pliskin et al, le modèle QALY nécessite un comportement de compromis indépendant de l’utilité, neutre par rapport au risque et proportionnel constant. En raison de ces hypothèses théoriques, la signification et l’utilité du QALY sont débattues. La santé parfaite est difficile, voire impossible, à définir. Certains affirment qu’il existe des états de santé pires que la mort et que, par conséquent, des valeurs négatives devraient être possibles sur le spectre de la santé (en effet, certains économistes de la santé ont intégré des valeurs négatives dans leurs calculs). La détermination du niveau de santé dépend de mesures qui, selon certains, accordent une importance disproportionnée à la douleur physique ou au handicap par rapport à la santé mentale.
La méthode consistant à classer les interventions en fonction de leur ratio coût par QALY gagnée (ou ICER) est controversée car elle implique un calcul quasi-utilitaire pour déterminer qui recevra ou non un traitement. Toutefois, ses partisans font valoir que les ressources en matière de soins de santé étant inévitablement limitées, cette méthode permet de les allouer de manière approximativement optimale pour la société, y compris pour la plupart des patients. Une autre préoccupation est qu’elle ne prend pas en compte les questions d’équité telles que la distribution globale des états de santé – en particulier parce que les cohortes plus jeunes et en bonne santé ont beaucoup plus de QALYs que les individus plus âgés ou plus malades. Par conséquent, l’analyse des QALY peut sous-évaluer les traitements qui profitent aux personnes âgées ou à d’autres personnes dont l’espérance de vie est plus faible. De plus, beaucoup soutiendraient que, toutes choses égales par ailleurs, les patients atteints d’une maladie plus grave devraient être prioritaires par rapport aux patients atteints d’une maladie moins grave si les deux obtiennent la même augmentation absolue de l’utilité.
Dès 1989, Loomes et McKenzie ont recommandé que des recherches soient menées concernant la validité des QALY. En 2010, grâce à un financement de la Commission européenne, le Consortium européen pour la recherche sur les résultats et les coûts-bénéfices dans le domaine de la santé (ECHOUTCOME) a lancé une étude majeure sur les QALYs utilisés dans l’évaluation des technologies de la santé. Ariel Beresniak, l’auteur principal de l’étude, a été cité comme ayant déclaré qu’il s’agissait de « la plus grande étude jamais réalisée spécifiquement dédiée à la vérification des hypothèses du QALY. » En janvier 2013, lors de sa conférence finale, ECHOUTCOME a publié les résultats préliminaires de son étude qui a interrogé 1361 personnes « issues du milieu universitaire » en Belgique, en France, en Italie et au Royaume-Uni. Les chercheurs ont demandé aux sujets de répondre à 14 questions concernant leurs préférences pour divers états de santé et la durée de ces états (par exemple, 15 ans en boitant contre 5 ans en fauteuil roulant). Ils ont conclu que « les préférences exprimées par les personnes interrogées n’étaient pas conformes aux hypothèses théoriques des QALY », à savoir que la qualité de vie peut être mesurée dans des intervalles cohérents, que les années de vie et la qualité de vie sont indépendantes les unes des autres, que les gens sont neutres face au risque et que la volonté de gagner ou de perdre des années de vie est constante dans le temps. ECHOUTCOME a également publié des « Lignes directrices européennes pour l’évaluation coût-efficacité des technologies de la santé », qui recommandent de ne pas utiliser les QALY dans la prise de décision en matière de soins de santé. Au lieu de cela, les lignes directrices recommandaient que les analyses coût-efficacité se concentrent sur « les coûts par résultat clinique pertinent ».
En réponse à l’étude ECHOUTCOME, les représentants du National Institute for Health and Care Excellence, du Scottish Medicines Consortium et de l’Organisation de coopération et de développement économiques ont fait les remarques suivantes. Premièrement, les QALY sont meilleures que les mesures alternatives. Deuxièmement, l’étude était « limitée ». Troisièmement, les problèmes liés aux QALYs étaient déjà largement reconnus. Quatrièmement, les chercheurs n’ont pas tenu compte des contraintes budgétaires. Cinquièmement, le National Institute for Health and Care Excellence du Royaume-Uni utilise des QALYs qui sont basés sur 3395 entretiens avec des résidents du Royaume-Uni, par opposition aux résidents de plusieurs pays européens. Enfin, selon Franco Sassi, économiste principal de la santé à l’Organisation de coopération et de développement économiques, les personnes qui demandent l’élimination des QALY peuvent avoir des « intérêts particuliers »
.