A Pliskin et al. szerint a QALY-modell a hasznosságtól független, kockázatsemleges és állandó arányos kompromisszumos viselkedést követel meg. Ezen elméleti feltételezések miatt a QALY jelentése és hasznossága vitatott. A tökéletes egészséget nehéz, ha nem lehetetlen meghatározni. Egyesek azzal érvelnek, hogy vannak rosszabb egészségi állapotok, mint a halál, és ezért az egészségspektrumon negatív értékeknek is létezniük kell (egyes egészségügyi közgazdászok valóban negatív értékeket is beépítettek a számításokba). Az egészségi állapot szintjének meghatározása olyan mérőszámoktól függ, amelyek egyesek szerint aránytalanul nagy jelentőséget tulajdonítanak a fizikai fájdalomnak vagy fogyatékosságnak a mentális egészséggel szemben.
A beavatkozásoknak az egy nyert QALY-ra jutó költséghányad (vagy ICER) alapján történő rangsorolásának módszere ellentmondásos, mivel kvázi-utilitarista számítást feltételez annak meghatározására, hogy ki kapjon vagy ne kapjon kezelést. Támogatói azonban azzal érvelnek, hogy mivel az egészségügyi erőforrások elkerülhetetlenül korlátozottak, ez a módszer lehetővé teszi, hogy azokat a társadalom – beleértve a legtöbb beteget is – számára megközelítőleg optimális módon osszák el. További aggodalomra ad okot, hogy nem veszi figyelembe a méltányossági kérdéseket, például az egészségi állapotok általános eloszlását – különösen mivel a fiatalabb, egészségesebb kohorszok sokszor több QALY-val rendelkeznek, mint az idősebb vagy betegebb egyének. Ennek eredményeképpen a QALY-elemzés alulértékelheti azokat a kezeléseket, amelyek az idősek vagy más, alacsonyabb várható élettartammal rendelkezők javát szolgálják. Emellett sokan azzal érvelnek, hogy ha minden más tényező egyenlő, akkor a súlyosabb betegségben szenvedő betegeket előnyben kell részesíteni a kevésbé súlyos betegségben szenvedő betegekkel szemben, ha mindkettőjük hasznossága ugyanolyan abszolút mértékben növekszik.
A Loomes és McKenzie már 1989-ben javasolta a QALY-k érvényességére vonatkozó kutatások elvégzését. 2010-ben az Európai Bizottság finanszírozásával a European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME) nagyszabású tanulmányt kezdett az egészségügyi technológiák értékelésében használt QALY-król. Ariel Beresniakot, a tanulmány vezető szerzőjét úgy idézték, hogy ez volt “az eddigi legnagyobb tanulmány, amely kifejezetten a QALY feltételezéseinek tesztelésére irányult”. Az ECHOUTCOME 2013 januárjában, zárókonferenciáján tette közzé tanulmányának előzetes eredményeit, amelynek során 1361 “akadémikus” személyt kérdeztek meg Belgiumban, Franciaországban, Olaszországban és az Egyesült Királyságban. A kutatók 14 kérdésre kérték az alanyokat, hogy válaszoljanak a különböző egészségi állapotokkal és azok időtartamával kapcsolatos preferenciáikra (pl. 15 év sántítás kontra 5 év kerekesszékben). Arra a következtetésre jutottak, hogy “a válaszadók által kifejezett preferenciák nem voltak összhangban a QALY elméleti feltételezésekkel”, miszerint az életminőséget következetes intervallumokban lehet mérni, hogy az életévek és az életminőség függetlenek egymástól, hogy az emberek semlegesek a kockázatokkal szemben, és hogy az életévek elnyerésére vagy elvesztésére való hajlandóság az idő múlásával állandó. Az ECHOUTCOME kiadta az “Európai iránymutatások az egészségügyi technológiák költséghatékonysági értékeléséhez” című dokumentumot is, amely azt ajánlotta, hogy az egészségügyi döntéshozatalban ne használjanak QALY-kat. Ehelyett az iránymutatás azt ajánlotta, hogy a költséghatékonysági elemzések “az egy releváns klinikai kimenetelre jutó költségekre” összpontosítsanak.”
Az ECHOUTCOME tanulmányra adott válaszában a National Institute for Health and Care Excellence, a Scottish Medicines Consortium és a Gazdasági Együttműködési és Fejlesztési Szervezet képviselői a következőkre hívták fel a figyelmet. Először is, a QALY-k jobbak, mint az alternatív mérőszámok. Másodszor, a tanulmány “korlátozott” volt. Harmadszor, a QALY-kkal kapcsolatos problémákat már széles körben elismerték. Negyedszer, a kutatók nem vették figyelembe a költségvetési korlátokat. Ötödször, a brit National Institute for Health and Care Excellence olyan QALY-kat használ, amelyek az Egyesült Királyság lakosainak 3395 interjún alapulnak, szemben több európai ország lakosaival. Végül Franco Sassi, a Gazdasági Együttműködési és Fejlesztési Szervezet vezető egészségügyi közgazdásza szerint azok, akik a QALY-k eltörlését követelik, “érdekeltséggel rendelkezhetnek”
.