Этот 36-метровый земляной холм был возведён в 1804 году солдатами наполеоновского войска под руководством генерала Огюста де Мармона (Auguste de Marmont), как дань уважения его другу и примеру для подражания Наполеону Бонапарту (хотя позже Мармон его предал).
Генерал назвал это место "Гора Мармона" (Mont Marmont), однако в 1806 году, несмотря на его протесты, Луи Бонапарт, новый король Голландии, переименовал холм в Пирамиду Аустерлица в память о сражении под Аустерлицем, в которой его брат Наполеон I одержал победу против России и Австрии.
В 1804 году французский генерал Огюст де Мармон расположил военный лагерь в центральной части Батавской республики (ныне территория Нидерландов), где в течение нескольких месяцев ему удалось сплотить различные батальоны в большую, хорошо обученную армию, способную победить британцев, с которыми французам предстояло воевать.
Довольный военной мощью новой армии и для того, чтобы как-то занять скучающих солдат, вдохновившись пирамидами Гизы, которые он видел во время Египетского похода Наполеона в 1798 году, осенью 1804 года Мармон приказал построить из земли и дёрна монумент.
Строительство заняло всего 27 дней, в течение которых появилось сооружение, возвышающееся на 36 метров. На плоской вершине пирамиды установили 13-метровый деревянный обелиск. Впрочем, Мармон был слишком поспешным в строительстве, так как у сооружения не было даже соответствующего фундамента — только земля и песок.
Как и следовало ожидать, пирамида начала разрушаться спустя непродолжительное время после завершения строительства. Мармон пытался сохранить её в хорошем состоянии, но когда местные жители стали разрушать пирамиду, снимая каменные плиты, расстроенный генерал продал её и прилегающую землю Хуберту ван Аш ван Веку (Hubert M.A.J. van Asch van Wijk), который позже стал мэром близлежащего города Утрехт.
Пирамида оставалась заброшенной на протяжении всего XX века, пока её не отреставрировали в 2004 году. Пирамида Аустерлица и окружающая её местность сейчас являются популярной туристической достопримечательностью и местом отдыха.
