Volgens Pliskin e.a. vereist het QALY-model een nutsonafhankelijk, risiconeutraal en constant proportioneel afwegingsgedrag. Vanwege deze theoretische aannames wordt de betekenis en het nut van de QALY besproken. Een perfecte gezondheid is moeilijk, zo niet onmogelijk, te definiëren. Sommigen beweren dat er gezondheidstoestanden zijn die slechter zijn dan dood zijn, en dat er daarom negatieve waarden mogelijk moeten zijn op het gezondheidsspectrum (sommige gezondheidseconomen hebben inderdaad negatieve waarden opgenomen in berekeningen). Het bepalen van het gezondheidsniveau hangt af van maatregelen die volgens sommigen een onevenredig belang toekennen aan lichamelijke pijn of invaliditeit boven geestelijke gezondheid.
De methode om interventies te rangschikken op grond van hun verhouding kosten per gewonnen QALY (of ICER) is controversieel omdat ze een quasi-utilitaire calculus impliceert om te bepalen wie al dan niet een behandeling zal krijgen. Voorstanders van deze methode voeren echter aan dat, aangezien de middelen in de gezondheidszorg onvermijdelijk beperkt zijn, deze methode het mogelijk maakt deze middelen toe te wijzen op een wijze die voor de samenleving, met inbegrip van de meeste patiënten, bij benadering optimaal is. Een ander punt van zorg is dat deze methode geen rekening houdt met rechtvaardigheidskwesties zoals de algemene verdeling van gezondheidstoestanden – met name omdat jongere, gezondere cohorten vele malen meer QALY’s hebben dan oudere of ziekere individuen. Als gevolg daarvan kunnen in een QALY-analyse behandelingen worden ondergewaardeerd die ten goede komen aan ouderen of anderen met een lagere levensverwachting. Ook zouden velen betogen dat, als al het andere gelijk is, patiënten met ernstigere ziekten voorrang zouden moeten krijgen boven patiënten met minder ernstige ziekten als beiden dezelfde absolute toename in nut zouden krijgen.
Al in 1989 hebben Loomes en McKenzie aanbevolen om onderzoek te doen naar de geldigheid van QALY’s. In 2010 begon het European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME), met financiering van de Europese Commissie, een groot onderzoek naar QALY’s zoals gebruikt in de evaluatie van gezondheidstechnologie. Ariel Beresniak, de hoofdauteur van de studie, werd geciteerd omdat hij zei dat het de “grootste studie ooit was die specifiek gewijd was aan het testen van de veronderstellingen van de QALY”. In januari 2013, op zijn slotconferentie, maakte ECHOUTCOME de voorlopige resultaten bekend van zijn studie waarbij 1361 mensen “uit de academische wereld” in België, Frankrijk, Italië en het VK werden ondervraagd. De onderzoekers vroegen de proefpersonen om 14 vragen te beantwoorden over hun voorkeuren voor verschillende gezondheidstoestanden en de duur van die toestanden (bv. 15 jaar mank lopen versus 5 jaar in een rolstoel). Zij concludeerden dat “de door de respondenten uitgedrukte voorkeuren niet in overeenstemming waren met de theoretische veronderstellingen van de QALY” dat de levenskwaliteit in consistente intervallen kan worden gemeten, dat levensjaren en levenskwaliteit onafhankelijk van elkaar zijn, dat mensen neutraal staan tegenover risico’s, en dat de bereidheid om levensjaren te winnen of te verliezen constant is in de tijd. ECHOUTCOME bracht ook “European Guidelines for Cost-Effectiveness Assessments of Health Technologies” uit, waarin werd aanbevolen geen QALY’s te gebruiken bij de besluitvorming over gezondheidszorg. In plaats daarvan werd aanbevolen dat kosteneffectiviteitsanalyses zich zouden richten op “kosten per relevant klinisch resultaat.”
In reactie op de ECHOUTCOME-studie hebben vertegenwoordigers van het National Institute for Health and Care Excellence, het Scottish Medicines Consortium en de Organisatie voor Economische Samenwerking en Ontwikkeling de volgende punten naar voren gebracht. Ten eerste zijn QALY’s beter dan alternatieve maatstaven. Ten tweede, de studie was “beperkt”. Ten derde, problemen met QALY’s waren al algemeen erkend. Ten vierde hebben de onderzoekers geen rekening gehouden met budgettaire beperkingen. Ten vijfde gebruikt het Britse National Institute for Health and Care Excellence QALY’s die gebaseerd zijn op 3395 interviews met inwoners van het Verenigd Koninkrijk, in tegenstelling tot inwoners van verschillende Europese landen. Ten slotte, volgens Franco Sassi, een senior gezondheidseconoom bij de Organisatie voor Economische Samenwerking en Ontwikkeling, kunnen mensen die oproepen tot de afschaffing van QALY’s “gevestigde belangen hebben.”