Secondo Pliskin et al., il modello QALY richiede un comportamento di tradeoff indipendente dall’utilità, neutrale al rischio e proporzionale costante. A causa di questi presupposti teorici, il significato e l’utilità del QALY è discusso. La salute perfetta è difficile, se non impossibile, da definire. Alcuni sostengono che ci sono stati di salute peggiori della morte, e che quindi ci dovrebbero essere valori negativi possibili sullo spettro della salute (infatti, alcuni economisti della salute hanno incorporato valori negativi nei calcoli). La determinazione del livello di salute dipende da misure che, secondo alcuni, danno un’importanza sproporzionata al dolore fisico o alla disabilità rispetto alla salute mentale.
Il metodo di classificare gli interventi sulla base del loro rapporto costo per QALY guadagnato (o ICER) è controverso perché implica un calcolo quasi utilitaristico per determinare chi riceverà o meno il trattamento. Tuttavia, i suoi sostenitori sostengono che, poiché le risorse sanitarie sono inevitabilmente limitate, questo metodo permette di allocarle nel modo approssimativamente ottimale per la società, compresa la maggior parte dei pazienti. Un’altra preoccupazione è che non prende in considerazione questioni di equità come la distribuzione complessiva degli stati di salute – in particolare perché le coorti più giovani e più sane hanno molte volte più QALY rispetto agli individui più anziani o malati. Di conseguenza, l’analisi QALY può sottovalutare i trattamenti di cui beneficiano gli anziani o altri con un’aspettativa di vita inferiore. Inoltre, molti sostengono che, a parità di condizioni, i pazienti con una malattia più grave dovrebbero essere privilegiati rispetto a quelli con una malattia meno grave se entrambi ottengono lo stesso aumento assoluto di utilità.
Già nel 1989, Loomes e McKenzie raccomandavano di condurre una ricerca sulla validità dei QALY. Nel 2010, con il finanziamento della Commissione europea, il Consorzio europeo per la ricerca sugli esiti sanitari e sui costi-benefici (ECHOUTCOME) ha iniziato un importante studio sui QALY utilizzati nella valutazione della tecnologia sanitaria. Ariel Beresniak, l’autore principale dello studio, è stato citato per dire che è stato il “più grande studio mai dedicato specificamente a testare le ipotesi del QALY”. Nel gennaio 2013, alla sua conferenza finale, ECHOUTCOME ha rilasciato i risultati preliminari del suo studio che ha intervistato 1361 persone “dal mondo accademico” in Belgio, Francia, Italia e Regno Unito. I ricercatori hanno chiesto ai soggetti di rispondere a 14 domande riguardanti le loro preferenze per vari stati di salute e la durata di questi stati (ad esempio, 15 anni zoppicando contro 5 anni su una sedia a rotelle). Hanno concluso che “le preferenze espresse dagli intervistati non erano coerenti con i presupposti teorici del QALY” che la qualità della vita può essere misurata in intervalli coerenti, che gli anni di vita e la qualità della vita sono indipendenti l’uno dall’altro, che le persone sono neutrali riguardo al rischio, e che la disponibilità a guadagnare o perdere anni di vita è costante nel tempo. ECHOUTCOME ha anche pubblicato le “Linee guida europee per le valutazioni di costo-efficacia delle tecnologie sanitarie”, che raccomandano di non usare i QALY nel processo decisionale sanitario. Invece, le linee guida raccomandavano che le analisi di costo-efficacia si concentrassero sui “costi per risultato clinico rilevante”.
In risposta allo studio ECHOUTCOME, i rappresentanti del National Institute for Health and Care Excellence, lo Scottish Medicines Consortium, e l’Organizzazione per la Cooperazione e lo Sviluppo Economico hanno fatto i seguenti punti. Primo, i QALY sono migliori delle misure alternative. Secondo, lo studio era “limitato”. Terzo, i problemi con i QALY erano già ampiamente riconosciuti. Quarto, i ricercatori non hanno preso in considerazione i vincoli di bilancio. Quinto, il National Institute for Health and Care Excellence del Regno Unito usa i QALY che sono basati su 3395 interviste con i residenti del Regno Unito, al contrario dei residenti di diversi paesi europei. Infine, secondo Franco Sassi, un economista sanitario senior presso l’Organizzazione per la cooperazione e lo sviluppo economico, le persone che chiedono l’eliminazione dei QALY possono avere “interessi acquisiti”.