Według Pliskina i wsp. model QALY wymaga zachowania niezależnego od użyteczności, neutralnego pod względem ryzyka i stałego proporcjonalnego kompromisu. Ze względu na te teoretyczne założenia znaczenie i przydatność QALY jest przedmiotem dyskusji. Idealne zdrowie jest trudne, jeśli nie niemożliwe, do zdefiniowania. Niektórzy twierdzą, że istnieją stany zdrowia gorsze niż bycie martwym, a zatem w spektrum zdrowia powinny być możliwe wartości ujemne (w istocie, niektórzy ekonomiści zdrowia włączyli wartości ujemne do obliczeń). Określenie poziomu zdrowia zależy od środków, które, jak twierdzą niektórzy, kładą nieproporcjonalnie duży nacisk na ból fizyczny lub niepełnosprawność w stosunku do zdrowia psychicznego.
Metoda rankingu interwencji na podstawie ich kosztu za zyskany QALY (lub ICER) jest kontrowersyjna, ponieważ implikuje quasi-utylitarny rachunek w celu określenia, kto będzie lub nie będzie otrzymywał leczenie. Jednak jej zwolennicy twierdzą, że ponieważ zasoby opieki zdrowotnej są nieuchronnie ograniczone, metoda ta umożliwia ich alokację w sposób, który jest w przybliżeniu optymalny dla społeczeństwa, w tym dla większości pacjentów. Innym problemem jest to, że nie uwzględnia ona kwestii sprawiedliwości, takich jak ogólny rozkład stanów zdrowia – zwłaszcza że młodsze, zdrowsze kohorty mają wielokrotnie więcej QALY niż osoby starsze lub bardziej chore. W rezultacie analiza QALY może nie doceniać terapii, z których korzystają osoby starsze lub inne osoby o niższej oczekiwanej długości życia. Ponadto wiele osób twierdzi, że przy założeniu równości wszystkich innych czynników pacjenci z cięższą chorobą powinni być traktowani priorytetowo w stosunku do pacjentów z mniej ciężką chorobą, jeżeli obaj uzyskaliby taki sam bezwzględny wzrost użyteczności.
Już w 1989 roku Loomes i McKenzie zalecili przeprowadzenie badań dotyczących ważności QALY. W 2010 roku, dzięki finansowaniu przez Komisję Europejską, European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME) rozpoczęło duże badanie dotyczące QALYs stosowanych w ocenie technologii medycznych. Ariel Beresniak, główny autor badania, był cytowany za stwierdzenie, że było to „największe w historii badanie specjalnie poświęcone testowaniu założeń QALY”. W styczniu 2013 roku, na swojej końcowej konferencji, ECHOUTCOME opublikował wstępne wyniki swojego badania, w którym ankietowano 1361 osób „ze środowisk akademickich” w Belgii, Francji, Włoszech i Wielkiej Brytanii. Badacze poprosili badanych o odpowiedź na 14 pytań dotyczących ich preferencji w zakresie różnych stanów zdrowia i czasu ich trwania (np. 15 lat utykając vs. 5 lat na wózku inwalidzkim). Doszli do wniosku, że „preferencje wyrażone przez respondentów nie były zgodne z teoretycznymi założeniami QALY”, że jakość życia może być mierzona w spójnych przedziałach, że lata życia i jakość życia są od siebie niezależne, że ludzie są neutralni wobec ryzyka i że chęć zyskania lub utraty lat życia jest stała w czasie. ECHOUTCOME opublikował również „Europejskie wytyczne dotyczące oceny efektywności kosztowej technologii medycznych”, które zalecają nieużywanie QALY w procesie podejmowania decyzji dotyczących opieki zdrowotnej. Zamiast tego wytyczne zalecały, aby analizy kosztów-efektywności koncentrowały się na „kosztach przypadających na odpowiedni wynik kliniczny.”
W odpowiedzi na badanie ECHOUTCOME przedstawiciele National Institute for Health and Care Excellence, Scottish Medicines Consortium oraz Organizacji Współpracy Gospodarczej i Rozwoju przedstawili następujące uwagi. Po pierwsze, QALY są lepsze niż alternatywne miary. Po drugie, badanie było „ograniczone”. Po trzecie, problemy z QALYs były już powszechnie uznane. Po czwarte, badacze nie wzięli pod uwagę ograniczeń budżetowych. Po piąte, brytyjski National Institute for Health and Care Excellence używa QALYs, które są oparte na 3395 wywiadach z mieszkańcami Wielkiej Brytanii, w przeciwieństwie do mieszkańców kilku krajów europejskich. Wreszcie, według Franco Sassi, starszego ekonomisty ds. zdrowia w Organizacji Współpracy Gospodarczej i Rozwoju, ludzie, którzy wzywają do eliminacji QALY mogą mieć „partykularne interesy”
.