Los orígenes del pastel de zanahoria son discutidos. Publicada en 1591, existe una receta inglesa de «pudding in a Carret root» que es esencialmente una zanahoria rellena de carne, pero que incluye muchos elementos comunes al postre moderno: manteca, nata, huevos, pasas, edulcorante (dátiles y azúcar), especias (clavo y macis), zanahoria raspada y pan rallado (en lugar de harina). Muchos historiadores de la alimentación creen que el pastel de zanahoria tiene su origen en los pudines de zanahoria que comían los europeos en la Edad Media, cuando el azúcar y los edulcorantes eran caros y mucha gente utilizaba las zanahorias como sustituto del azúcar. Las variaciones del budín de zanahoria evolucionaron para incluir el horneado con una corteza (como el pastel de calabaza), al vapor con una salsa, o moldeado en sartenes (como el budín de ciruela) con glaseado.
En el volumen dos de L’art du cuisinier (1814), Antoine Beauvilliers, antiguo chef de Luis XVI, incluyó una receta para un «Gâteau de Carottes», que fue lo suficientemente popular como para ser copiada textualmente en los libros de cocina de la competencia. En 1824, Beauvilliers había publicado en Londres una versión inglesa de su libro de cocina que incluye una receta de «Gâteau de Carottes» en una traducción literal de su receta anterior.
Otra receta del siglo XIX procede de la escuela de cocina de Kaiseraugst (Cantón de Argovia, Suiza). Según el Patrimonio Culinario de Suiza, es uno de los pasteles más populares en Suiza, especialmente para los cumpleaños de los niños.
La popularidad del pastel de zanahoria se reavivó en el Reino Unido debido al racionamiento durante la Segunda Guerra Mundial.