Contesa per anni tra la famiglia Borgia e i Caetani, venne più volte distrutta e ricostruita, solo alla fine dell'Ottocento i Caetani ne tornarono in possesso e bonificarono i terreni per farne una residenza estiva.
In quest'epoca risale la costruzione del giardino, con l'importazione di specie botaniche rare si è arrivato a creare il fascino che ad oggi mostra.