Desde el año 49 a.C. esta elevación junto a la que ahora es la ciudad de Lleida, se utilizó por Julio César y sus soldados como defensa militar. 1100 años más tarde, tras la conquista de la ciudad de manos de los musulmanes, los caballeros templarios recibieron varios bienes, como compensación a la ayuda prestada durante el sitio de la misma. Entre ellos, se encontraba el torreón de Gardeny, donde se instaló una primera comandancia en el año 1156 y que, con nuevas incorporaciones, conducirían a Gardeny a ser uno de los principales centros de toma de decisiones de la Orden del Temple de la Corona de Aragón (Domus Templi). Durante los siglos XVII y XVIII se realizaron modificaciones en la construcción, que acabaron con la fisonomía original de la misma. Se añadieron diversas estancias y murallas, almacenes y otras dependencias al torreón inicial. Actualmente se encuentra en estado de ruina, si bien se han realizado trabajos de restauración y están incluidos, desde 1985, en la lista del Patrimonio Histórico Español. Puede visitarse gratuitamente y de forma guiada durante los fines de semana. Estas visitas son organizadas desde la oficina de turismo de Lleida.