キャロットケーキの起源については異論がある。 1591年に出版されたイギリスのレシピ「pudding in a Carret root」は、基本的にはニンジンに肉を詰めたものですが、ショートニング、クリーム、卵、レーズン、甘味料（デーツと砂糖）、スパイス（クローブとメース）、擦り切ったニンジン、小麦粉の代わりにパン粉という、現代のデザートと共通の要素が多く含まれています。 キャロットケーキの起源は、砂糖や甘味料が高価だった中世のヨーロッパで、多くの人が砂糖の代わりにニンジンを使って食べていたこうしたニンジンプディングにあると考える食文化史家が多い。 パンプキンパイのように皮を焼いたり、蒸し焼きにしてソースをかけたり、プラムプディングのように型に入れてアイシングをしたりと、さまざまなバリエーションが生まれた。 1824年、ボーヴィリエはロンドンで英語版の料理本を出版しており、その中には以前のレシピを直訳した「キャロットケーキ」のレシピも含まれている。
Swiss Rueblitorte
19世紀の別のレシピが、カイゼルグスト（スイス、アールガウ州）の家政学部に由来するものだ。 スイス料理遺産によると、スイスで最も人気のあるケーキの一つで、特に子供の誕生日に人気がある。
イギリスでは、第二次世界大戦中の配給制のため、キャロットケーキの人気が復活したと言われている。