I henhold til Pliskin et al. kræver QALY-modellen en nytteuafhængig, risikoneutral og konstant proportional afvejningsadfærd. På grund af disse teoretiske antagelser er QALY’s betydning og nytteværdi omdiskuteret. Det er vanskeligt, hvis ikke umuligt, at definere et perfekt helbred. Nogle hævder, at der findes sundhedstilstande, der er værre end at være død, og at der derfor bør være negative værdier mulige på sundhedsspektret (nogle sundhedsøkonomer har faktisk indarbejdet negative værdier i beregningerne). Bestemmelse af sundhedsniveauet afhænger af foranstaltninger, som nogle hævder lægger uforholdsmæssig stor vægt på fysisk smerte eller invaliditet frem for mental sundhed.
Metoden med at rangordne interventioner på grundlag af deres cost per QALY gained ratio (eller ICER) er kontroversiel, fordi den indebærer en kvasi-utilitaristisk kalkule til at afgøre, hvem der skal eller ikke skal modtage behandling. Dens tilhængere hævder imidlertid, at da ressourcerne i sundhedsvæsenet uundgåeligt er begrænsede, gør denne metode det muligt at fordele dem på den måde, der er tilnærmelsesvis optimal for samfundet, herunder for de fleste patienter. Et andet problem er, at den ikke tager hensyn til lighedsspørgsmål som f.eks. den generelle fordeling af sundhedstilstande – især fordi yngre, sundere årgange har mange gange flere QALY’er end ældre eller mere syge personer. Som følge heraf kan QALY-analysen undervurdere behandlinger, som er til gavn for ældre eller andre med en lavere forventet levetid. Mange vil også hævde, at patienter med mere alvorlig sygdom alt andet lige bør prioriteres højere end patienter med mindre alvorlig sygdom, hvis begge ville få den samme absolutte stigning i nytteværdi.
Allerede i 1989 anbefalede Loomes og McKenzie, at der blev forsket i QALY’ernes validitet. I 2010 indledte European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME) med støtte fra Europa-Kommissionen en større undersøgelse af QALY’er som anvendt i forbindelse med vurdering af sundhedsteknologi. Ariel Beresniak, undersøgelsens hovedforfatter, blev citeret for at sige, at det var den “største undersøgelse nogensinde, der specifikt var dedikeret til at teste antagelserne om QALY”. I januar 2013 offentliggjorde ECHOUTCOME på sin afsluttende konference de foreløbige resultater af sin undersøgelse, hvor 1361 personer “fra akademiske kredse” i Belgien, Frankrig, Italien og Storbritannien blev spurgt. Forskerne bad forsøgspersonerne om at besvare 14 spørgsmål om deres præferencer for forskellige helbredstilstande og varigheden af disse tilstande (f.eks. 15 år som humpende versus 5 år i kørestol). De konkluderede, at “de præferencer, som respondenterne gav udtryk for, ikke var i overensstemmelse med de teoretiske antagelser om QALY”, nemlig at livskvalitet kan måles i konsistente intervaller, at leveår og livskvalitet er uafhængige af hinanden, at folk er neutrale over for risici, og at villigheden til at vinde eller miste leveår er konstant over tid. ECHOUTCOME offentliggjorde også “European Guidelines for Cost-Effectiveness Assessments of Health Technologies”, hvori det anbefales ikke at anvende QALY’er i beslutningstagningen på sundhedsområdet. I stedet anbefalede retningslinjerne, at omkostningseffektivitetsanalyser fokuserer på “omkostninger pr. relevant klinisk resultat”.
Som reaktion på ECHOUTCOME-undersøgelsen fremførte repræsentanter for National Institute for Health and Care Excellence, Scottish Medicines Consortium og Organisationen for Økonomisk Samarbejde og Udvikling følgende punkter. For det første er QALY’er bedre end alternative mål. For det andet var undersøgelsen “begrænset”. For det tredje var problemerne med QALY’er allerede bredt anerkendt. For det fjerde tog forskerne ikke hensyn til budgetbegrænsninger. For det femte anvender Det Forenede Kongeriges National Institute for Health and Care Excellence QALY’er, der er baseret på 3395 interviews med indbyggere i Det Forenede Kongerige i modsætning til indbyggere i flere europæiske lande. Endelig kan folk, der opfordrer til afskaffelse af QALY’er, ifølge Franco Sassi, der er senior sundhedsøkonom i Organisationen for Økonomisk Samarbejde og Udvikling, have “velerhvervede interesser”
.