Pliskin ym. mukaan QALY-malli edellyttää hyödystä riippumatonta, riskineutraalia ja vakiosuhteista kompromissikäyttäytymistä. Näiden teoreettisten oletusten vuoksi QALY:n merkityksestä ja hyödyllisyydestä keskustellaan. Täydellistä terveyttä on vaikea, ellei mahdotonta, määritellä. Jotkut väittävät, että on olemassa terveydentiloja, jotka ovat huonompia kuin kuolleena oleminen, ja että siksi terveyden spektrissä pitäisi olla mahdollisia negatiivisia arvoja (jotkut terveystaloustieteilijät ovatkin sisällyttäneet negatiivisia arvoja laskelmiin). Terveyden tason määrittäminen riippuu mittauksista, joissa joidenkin mielestä fyysistä kipua tai vammaisuutta pidetään suhteettoman tärkeämpänä kuin mielenterveyttä.
Menetelmä, jossa toimenpiteet asetetaan paremmuusjärjestykseen niiden kustannusten per saavutettu QALY-suhde (tai ICER) perusteella, on kiistanalainen, koska se edellyttää näennäisutilitaristista laskentatapaa sen määrittämiseksi, kuka saa ja kuka ei saa hoitoa. Sen kannattajat kuitenkin väittävät, että koska terveydenhuollon resurssit ovat väistämättä rajalliset, menetelmän avulla ne voidaan kohdentaa tavalla, joka on suunnilleen optimaalinen yhteiskunnan ja myös useimpien potilaiden kannalta. Toinen huolenaihe on se, että siinä ei oteta huomioon oikeudenmukaisuuskysymyksiä, kuten terveydentilan yleistä jakautumista – erityisesti koska nuoremmilla, terveemmillä kohorteilla on moninkertaisesti enemmän QALYja kuin vanhemmilla tai sairaammilla yksilöillä. Tämän seurauksena QALY-analyysi saattaa aliarvioida hoitoja, jotka hyödyttävät vanhuksia tai muita, joiden elinajanodote on alhaisempi. Monet väittävät myös, että jos kaikki muut tekijät ovat samat, vakavammin sairaat potilaat olisi asetettava etusijalle vähemmän vakavasti sairaiden potilaiden kustannuksella, jos molemmat saisivat saman absoluuttisen hyödyn lisäyksen.
Loomes ja McKenzie suosittelivat jo vuonna 1989, että QALY:iden pätevyydestä tehtäisiin tutkimusta. Vuonna 2010 European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME) aloitti Euroopan komission rahoituksella laajan tutkimuksen QALY:istä, joita käytetään terveysteknologian arvioinnissa. Tutkimuksen pääkirjoittajan Ariel Beresniakin mukaan kyseessä oli ”kaikkien aikojen suurin tutkimus, joka on omistettu nimenomaan QALY-oletusten testaamiseen”. Tammikuussa 2013 ECHOUTCOME julkaisi päätöskonferenssissaan alustavat tulokset tutkimuksestaan, jossa haastateltiin 1361 ”akateemista” henkilöä Belgiassa, Ranskassa, Italiassa ja Yhdistyneessä kuningaskunnassa. Tutkijat pyysivät koehenkilöitä vastaamaan 14 kysymykseen, jotka koskivat heidän mieltymyksiään erilaisiin terveydentiloihin ja näiden tilojen kestoon (esim. 15 vuotta ontumista verrattuna 5 vuoteen pyörätuolissa). He päättelivät, että ”vastaajien ilmaisemat mieltymykset eivät vastanneet QALY-teoreettisia oletuksia”, joiden mukaan elämänlaatua voidaan mitata johdonmukaisin väliajoin, että elinvuodet ja elämänlaatu ovat toisistaan riippumattomia, että ihmiset suhtautuvat riskiin neutraalisti ja että halukkuus voittaa tai menettää elinvuosia on vakio ajan kuluessa. ECHOUTCOME julkaisi myös ”European Guidelines for Cost-Effectiveness Assessments of Health Technologies” -suosituksen, jossa suositeltiin, ettei QALY-arvoja käytettäisi terveydenhuollon päätöksenteossa. Sen sijaan suuntaviivoissa suositeltiin, että kustannusvaikuttavuusanalyyseissä keskityttäisiin ”kustannuksiin merkityksellistä kliinistä lopputulosta kohti.”
Vastauksena ECHOUTCOME-tutkimukseen National Institute for Health and Care Excellence -laitoksen, Scottish Medicines Consortiumin ja Taloudellisen yhteistyön ja kehityksen järjestön edustajat esittivät seuraavat huomautukset. Ensinnäkin QALY:t ovat parempia kuin vaihtoehtoiset mittarit. Toiseksi tutkimus oli ”rajallinen”. Kolmanneksi, QALY:iin liittyvät ongelmat oli jo laajalti tunnustettu. Neljänneksi tutkijat eivät ottaneet huomioon budjettirajoitteita. Viidenneksi Yhdistyneen kuningaskunnan National Institute for Health and Care Excellence käyttää QALY-arvoja, jotka perustuvat 3395 haastatteluun, joissa haastateltiin Yhdistyneen kuningaskunnan asukkaita, toisin kuin useiden Euroopan maiden asukkaita. Taloudellisen yhteistyön ja kehityksen järjestön johtavan terveystaloustieteilijän Franco Sassin mukaan QALY:iden poistamista vaativilla henkilöillä saattaa olla ”omia etuja”
.