Nach Pliskin et al. erfordert das QALY-Modell ein nutzenunabhängiges, risikoneutrales und konstant proportionales Tradeoff-Verhalten. Aufgrund dieser theoretischen Annahmen ist die Bedeutung und der Nutzen des QALY umstritten. Perfekte Gesundheit ist schwer, wenn nicht gar unmöglich zu definieren. Einige argumentieren, dass es Gesundheitszustände gibt, die schlimmer sind als der Tod, und dass daher auch negative Werte auf dem Gesundheitsspektrum möglich sein sollten (tatsächlich haben einige Gesundheitsökonomen negative Werte in die Berechnungen einbezogen). Die Bestimmung des Gesundheitsniveaus hängt von Maßstäben ab, von denen einige behaupten, dass körperlichen Schmerzen oder Behinderungen eine unverhältnismäßig große Bedeutung gegenüber der geistigen Gesundheit zukommt.
Die Methode der Einstufung von Interventionen auf der Grundlage ihres Verhältnisses von Kosten pro gewonnenem QALY (oder ICER) ist umstritten, weil sie ein quasi-utilitaristisches Kalkül impliziert, um zu bestimmen, wer eine Behandlung erhält und wer nicht. Ihre Befürworter argumentieren jedoch, dass diese Methode angesichts der unweigerlich begrenzten Ressourcen im Gesundheitswesen eine für die Gesellschaft, einschließlich der meisten Patienten, annähernd optimale Zuweisung ermöglicht. Ein weiteres Problem besteht darin, dass bei dieser Methode Gerechtigkeitsaspekte wie die Gesamtverteilung des Gesundheitszustands nicht berücksichtigt werden – insbesondere, da jüngere, gesündere Kohorten ein Vielfaches der QALYs haben als ältere oder kranke Menschen. Infolgedessen kann die QALY-Analyse Behandlungen unterbewerten, die älteren Menschen oder anderen mit einer geringeren Lebenserwartung zugute kommen. Außerdem würden viele argumentieren, dass unter sonst gleichen Bedingungen Patienten mit schwereren Erkrankungen gegenüber Patienten mit weniger schweren Erkrankungen bevorzugt werden sollten, wenn beide den gleichen absoluten Nutzenzuwachs erhalten würden.
Bereits 1989 empfahlen Loomes und McKenzie, die Gültigkeit von QALYs zu untersuchen. Im Jahr 2010 begann das European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME) mit finanzieller Unterstützung der Europäischen Kommission eine umfassende Studie zu QALYs, wie sie in der Gesundheitstechnologiebewertung verwendet werden. Ariel Beresniak, der Hauptautor der Studie, wurde mit den Worten zitiert, es handele sich um die bisher größte Studie, die sich speziell mit der Prüfung der Annahmen des QALY befasst“. Im Januar 2013 veröffentlichte ECHOUTCOME auf seiner Abschlusskonferenz die vorläufigen Ergebnisse seiner Studie, bei der 1361 Personen „aus dem akademischen Bereich“ in Belgien, Frankreich, Italien und dem Vereinigten Königreich befragt wurden. Die Forscher baten die Probanden, 14 Fragen zu ihren Präferenzen für verschiedene Gesundheitszustände und die Dauer dieser Zustände zu beantworten (z. B. 15 Jahre Hinken gegenüber 5 Jahren im Rollstuhl). Sie kamen zu dem Schluss, dass die von den Befragten geäußerten Präferenzen nicht mit den theoretischen QALY-Annahmen übereinstimmten, wonach die Lebensqualität in gleichbleibenden Intervallen gemessen werden kann, dass Lebensjahre und Lebensqualität unabhängig voneinander sind, dass die Menschen dem Risiko neutral gegenüberstehen und dass die Bereitschaft, Lebensjahre zu gewinnen oder zu verlieren, über die Zeit konstant ist. ECHOUTCOME veröffentlichte auch „Europäische Leitlinien für die Bewertung der Kosteneffizienz von Gesundheitstechnologien“, in denen empfohlen wird, bei Entscheidungen im Gesundheitswesen keine QALYs zu verwenden. Als Reaktion auf die ECHOUTCOME-Studie äußerten sich Vertreter des National Institute for Health and Care Excellence, des Scottish Medicines Consortium und der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung wie folgt. Erstens: QALYs sind besser als alternative Maßstäbe. Zweitens: Die Studie war „begrenzt“. Drittens seien die Probleme mit QALYs bereits allgemein bekannt. Viertens hätten die Forscher die Haushaltszwänge nicht berücksichtigt. Fünftens verwendet das britische National Institute for Health and Care Excellence QALYs, die auf 3395 Interviews mit Einwohnern des Vereinigten Königreichs basieren, im Gegensatz zu Einwohnern mehrerer europäischer Länder. Franco Sassi, einem leitenden Gesundheitsökonomen der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung, zufolge haben diejenigen, die die Abschaffung der QALYs fordern, möglicherweise „Eigeninteressen“
.