Potrivit lui Pliskin et al., modelul QALY necesită un comportament de compromis independent de utilitate, neutru față de risc și constant proporțional. Din cauza acestor ipoteze teoretice, semnificația și utilitatea QALY sunt dezbătute. Sănătatea perfectă este dificil, dacă nu imposibil, de definit. Unii susțin că există stări de sănătate mai rele decât moartea și că, prin urmare, ar trebui să existe valori negative posibile pe spectrul sănătății (într-adevăr, unii economiști din domeniul sănătății au încorporat valori negative în calcule). Determinarea nivelului de sănătate depinde de măsuri despre care unii susțin că acordă o importanță disproporționată durerii fizice sau dizabilității în detrimentul sănătății mintale.
Metoda de clasificare a intervențiilor pe baza raportului cost per QALY câștigat (sau ICER) este controversată, deoarece implică un calcul cvasi-utilitarist pentru a determina cine va primi sau nu tratament. Cu toate acestea, susținătorii săi susțin că, întrucât resursele de asistență medicală sunt inevitabil limitate, această metodă permite alocarea acestora într-un mod aproximativ optim pentru societate, inclusiv pentru majoritatea pacienților. Un alt motiv de îngrijorare este faptul că nu ia în considerare aspecte legate de echitate, cum ar fi distribuția generală a stărilor de sănătate – în special deoarece cohortele mai tinere și mai sănătoase au de multe ori mai mulți QALY decât persoanele mai în vârstă sau mai bolnave. Ca urmare, analiza QALY poate subevalua tratamentele de care beneficiază persoanele în vârstă sau alte persoane cu o speranță de viață mai mică. De asemenea, mulți ar susține că, în condiții de egalitate, pacienții cu boli mai grave ar trebui să aibă prioritate în fața pacienților cu boli mai puțin grave dacă ambii ar obține aceeași creștere absolută a utilității.
Încă din 1989, Loomes și McKenzie au recomandat efectuarea de cercetări privind validitatea QALY-urilor. În 2010, cu finanțare de la Comisia Europeană, European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME) a demarat un studiu major privind QALY-urile utilizate în evaluarea tehnologiilor medicale. Ariel Beresniak, autorul principal al studiului, a fost citat spunând că acesta a fost „cel mai mare studiu de până acum dedicat în mod specific testării ipotezelor QALY”. În ianuarie 2013, în cadrul conferinței sale finale, ECHOUTCOME a publicat rezultatele preliminare ale studiului său, în cadrul căruia au fost intervievate 1361 de persoane „din mediul academic” din Belgia, Franța, Italia și Regatul Unit. Cercetătorii le-au cerut subiecților să răspundă la 14 întrebări referitoare la preferințele lor pentru diferite stări de sănătate și duratele acestor stări (de exemplu, 15 ani șchiopătând față de 5 ani în scaun cu rotile). Ei au concluzionat că „preferințele exprimate de respondenți nu au fost în concordanță cu ipotezele teoretice QALY”, conform cărora calitatea vieții poate fi măsurată în intervale consistente, că anii de viață și calitatea vieții sunt independente una de cealaltă, că oamenii sunt neutri în ceea ce privește riscul și că disponibilitatea de a câștiga sau de a pierde ani de viață este constantă în timp. ECHOUTCOME a publicat, de asemenea, „Liniile directoare europene pentru evaluarea cost-eficacitate a tehnologiilor medicale”, care recomandă să nu se utilizeze QALY în procesul de luare a deciziilor privind asistența medicală. În schimb, orientările au recomandat ca analizele cost-eficacitate să se concentreze pe „costurile per rezultat clinic relevant.”
În răspunsul la studiul ECHOUTCOME, reprezentanții Institutului Național pentru Sănătate și Excelență în Îngrijire, ai Consorțiului Scoțian pentru Medicamente și ai Organizației pentru Cooperare și Dezvoltare Economică au făcut următoarele precizări. În primul rând, QALY-urile sunt mai bune decât măsurile alternative. În al doilea rând, studiul a fost „limitat”. În al treilea rând, problemele cu QALY-urile au fost deja recunoscute pe scară largă. În al patrulea rând, cercetătorii nu au luat în considerare constrângerile bugetare. În al cincilea rând, Institutul Național pentru Sănătate și Excelență în Îngrijire din Marea Britanie utilizează QALY-uri care se bazează pe 3395 de interviuri cu rezidenți din Marea Britanie, spre deosebire de rezidenți din mai multe țări europene. În cele din urmă, potrivit lui Franco Sassi, economist senior în domeniul sănătății la Organizația pentru Cooperare și Dezvoltare Economică, persoanele care solicită eliminarea QALY-urilor pot avea „interese personale”
.