Enligt Pliskin et al. kräver QALY-modellen ett nyttoberoende, riskneutralt och konstant proportionellt avvägningsbeteende. På grund av dessa teoretiska antaganden diskuteras QALY:s betydelse och användbarhet. Perfekt hälsa är svårt, om inte omöjligt, att definiera. Vissa hävdar att det finns hälsotillstånd som är värre än att vara död, och att det därför bör finnas negativa värden på hälsospektrumet (vissa hälsoekonomer har faktiskt tagit med negativa värden i beräkningarna). Att bestämma hälsanivån beror på mått som enligt vissa lägger oproportionerligt stor vikt vid fysisk smärta eller funktionshinder framför psykisk hälsa.
Metoden att rangordna interventioner på grundval av deras kostnad per vunnet QALY (eller ICER) är kontroversiell, eftersom den innebär en kvasi-utilitaristisk kalkyl för att avgöra vem som kommer att få eller inte kommer att få behandling. Dess förespråkare hävdar dock att eftersom hälso- och sjukvårdsresurserna oundvikligen är begränsade, gör denna metod det möjligt att fördela dem på ett sätt som är ungefär optimalt för samhället, inklusive de flesta patienter. Ett annat problem är att metoden inte tar hänsyn till jämlikhetsfrågor som den övergripande fördelningen av hälsotillstånd – särskilt eftersom yngre, friskare kohorter har många gånger fler QALYs än äldre eller sjukare individer. Därför kan QALY-analysen undervärdera behandlingar som gynnar äldre eller andra med lägre förväntad livslängd. Många skulle också hävda att om allt annat är lika bör patienter med allvarligare sjukdomar prioriteras framför patienter med mindre allvarliga sjukdomar om båda skulle få samma absoluta ökning av nyttan.
Sedan 1989 rekommenderade Loomes och McKenzie att det skulle bedrivas forskning om QALY:s giltighet. År 2010 inledde European Consortium in Healthcare Outcomes and Cost-Benefit Research (ECHOUTCOME), med finansiering från Europeiska kommissionen, en stor studie om QALYs som används vid utvärdering av hälsoteknik. Ariel Beresniak, studiens huvudförfattare, citerades för att ha sagt att det var den ”största studien någonsin som specifikt ägnats åt att testa antagandena om QALY”. I januari 2013, vid sin slutkonferens, offentliggjorde ECHOUTCOME preliminära resultat av sin studie där 1361 personer ”från den akademiska världen” i Belgien, Frankrike, Italien och Storbritannien tillfrågades. Forskarna bad personerna svara på 14 frågor om deras preferenser för olika hälsotillstånd och varaktigheten av dessa tillstånd (t.ex. 15 år som haltande jämfört med 5 år i rullstol). De drog slutsatsen att ”de preferenser som respondenterna uttryckte inte stämde överens med de teoretiska antagandena om QALY”, dvs. att livskvalitet kan mätas i konsekventa intervall, att levnadsår och livskvalitet är oberoende av varandra, att människor är neutrala när det gäller risker och att viljan att vinna eller förlora levnadsår är konstant över tiden. ECHOUTCOME publicerade också ”European Guidelines for Cost-Effectiveness Assessments of Health Technologies” (europeiska riktlinjer för bedömning av kostnadseffektivitet av hälsoteknik), som rekommenderar att man inte använder QALYs i beslutsfattandet inom hälso- och sjukvården. I stället rekommenderade riktlinjerna att kostnadseffektivitetsanalyser skulle fokusera på ”kostnader per relevant kliniskt resultat”.
Som svar på ECHOUTCOME-studien framförde företrädare för National Institute for Health and Care Excellence, Scottish Medicines Consortium och Organisation for Economic Co-operation and Development följande synpunkter. För det första är QALY bättre än alternativa mått. För det andra var studien ”begränsad”. För det tredje var problemen med QALYs redan allmänt erkända. För det fjärde tog forskarna inte hänsyn till budgetrestriktioner. För det femte använder Storbritanniens National Institute for Health and Care Excellence QALYs som baseras på 3395 intervjuer med invånare i Storbritannien, till skillnad från invånare i flera europeiska länder. Slutligen, enligt Franco Sassi, en ledande hälsoekonom vid Organisationen för ekonomiskt samarbete och utveckling, kan personer som kräver att QALYs ska avskaffas ha ”egenintressen”
.