Podle Pliskina a kol. vyžaduje model QALY chování nezávislé na užitku, neutrální vůči riziku a konstantní proporcionální kompromis. Vzhledem k těmto teoretickým předpokladům je význam a užitečnost QALY předmětem diskusí. Dokonalé zdraví je obtížné, ne-li nemožné definovat. Někteří tvrdí, že existují horší zdravotní stavy než smrt, a proto by měly být možné záporné hodnoty ve spektru zdraví (někteří zdravotničtí ekonomové skutečně do výpočtů zahrnuli záporné hodnoty). Určení úrovně zdraví závisí na opatřeních, která podle některých názorů přikládají nepřiměřený význam fyzické bolesti nebo postižení oproti duševnímu zdraví.
Metoda řazení intervencí na základě jejich poměru nákladů na získaný QALY (neboli ICER) je kontroverzní, protože předpokládá kvazi-utilitární kalkul, který má určit, kdo bude nebo nebude léčen. Její zastánci však tvrdí, že vzhledem k tomu, že zdroje zdravotní péče jsou nevyhnutelně omezené, umožňuje tato metoda jejich přidělení způsobem, který je přibližně optimální pro společnost, včetně většiny pacientů. Další obavou je, že nezohledňuje otázky spravedlnosti, jako je celkové rozdělení zdravotních stavů – zejména proto, že mladší, zdravější kohorty mají mnohonásobně více QALY než starší nebo nemocnější jedinci. V důsledku toho může analýza QALY podhodnotit léčbu, která přináší prospěch starším lidem nebo jiným lidem s nižší očekávanou délkou života. Mnozí také tvrdí, že za stejných podmínek by měli být upřednostněni pacienti s těžším onemocněním před pacienty s méně závažným onemocněním, pokud by u obou došlo ke stejnému absolutnímu zvýšení užitku.
Již v roce 1989 Loomes a McKenzie doporučili, aby byl proveden výzkum týkající se platnosti QALY. V roce 2010 zahájilo Evropské konsorcium pro výzkum výsledků zdravotní péče a nákladů a přínosů (European Consortium in Healthcare Outcomes and Cost-Benefit Research, ECHOUTCOME) za finanční podpory Evropské komise rozsáhlou studii o QALY používaných při hodnocení zdravotnických technologií. Ariel Beresniak, hlavní autor studie, se nechal slyšet, že se jedná o „vůbec největší studii věnovanou speciálně testování předpokladů QALY“. V lednu 2013 na své závěrečné konferenci ECHOUTCOME zveřejnila předběžné výsledky své studie, které se zúčastnilo 1361 osob „z akademické sféry“ v Belgii, Francii, Itálii a Velké Británii. Výzkumníci požádali účastníky studie, aby odpověděli na 14 otázek týkajících se jejich preferencí různých zdravotních stavů a doby trvání těchto stavů (např. 15 let kulhání versus 5 let na vozíku). Došli k závěru, že „preference vyjádřené respondenty nebyly v souladu s teoretickými předpoklady QALY“, že kvalitu života lze měřit v konzistentních intervalech, že roky života a kvalita života jsou na sobě nezávislé, že lidé jsou neutrální vůči riziku a že ochota získat nebo ztratit roky života je v čase konstantní. ECHOUTCOME rovněž vydalo „Evropské pokyny pro hodnocení nákladové efektivity zdravotnických technologií“, které doporučují nepoužívat QALY při rozhodování o zdravotní péči. Místo toho tyto pokyny doporučují, aby se analýzy nákladové efektivity zaměřily na „náklady na relevantní klinický výsledek“.
V reakci na studii ECHOUTCOME zástupci Národního institutu pro zdraví a excelenci v péči, Skotského konsorcia pro léčiva a Organizace pro hospodářskou spolupráci a rozvoj uvedli následující body. Za prvé, QALY jsou lepší než alternativní měřítka. Za druhé, studie byla „omezená“. Za třetí, problémy s QALY již byly všeobecně známy. Začtvrté, výzkumníci nezohlednili rozpočtová omezení. Za páté, britský National Institute for Health and Care Excellence používá QALY, které vycházejí z 3395 rozhovorů s obyvateli Spojeného království, na rozdíl od obyvatel několika evropských zemí. A konečně, podle Franca Sassiho, vedoucího zdravotnického ekonoma Organizace pro hospodářskou spolupráci a rozvoj, lidé, kteří volají po zrušení QALY, mohou mít „partikulární zájmy“
.