Construite à partir de 1550 pour le Cardinal Hippolyte d'Este par l'architecte Pirro Ligorio, cette villa et ses jardins coutèrent une fortune à son commanditaire. Le cardinal d'Este était le fils du duc de Ferrare et de Lucrèce Borgia elle même fille du pape Alexandre IV. Grace à sa fortune personnelle et à ses revenus considérables provenant des arcevéchès de Narbonne et d'Aix de maurienne et d'Orléans il pu réaliser la plus grande partie de ses projets grandioses
Quelques modifications apparaissent d'après les dessins originaux, notemment les tours et le dernier étage jamais construit, mais ce que nous voyons de nos jours est déjà considérable. Pirro Ligorio entra au service du Cardinal en 1549 comme archéologue avant de dessiner les plans de cette villa. Nombre de ses trouvailles antiques devait provenir de la villa Adrianna, sise aussi à Tivoli
