Voici ce que j'ai pu trouver .
L'actuelle villa pontificale est le résultat de l'union de trois propriétés d'origine différente: le palais apostolique et son petit jardin donnant sur la place de la ville de Castel Gandolfo, auquel a été rattachée en 1773 la villa Cybo et, en 1929, suite à la signature des Accords du Latran, la villa Barberini édifiée en grande partie sur la villa antique de l'empereur Domitien (81-96).
Au XIIIe siècle avant J.-C. le site de Castel Gandolfo aurait été occupé par la ville d'Albe la Longue qui, selon la légende, aurait été fondée par Ascanius, le fils d'Enée. La ville est ainsi considérée comme le berceau du peuple des Latins. Elle est conquise et détruite par les Romains au VIIe siècle avant J.-C. Quatre siècles plus tard, la zone devient très prisée par les riches Romains qui y élèvent villas et palais.
Le nom de la petite ville des "castelli romani" (avec environ 8500 habitants) provient du château - castel - élevé par la famille romaine des Gandolfi au XIIe siècle. Cette seigneurie a été achetée par le pape à la famille des Savelli en 1596 pour 24 000 écus. En 1604, Clément VIII (1592-1605) intègre par décret la bourgade et ses terres aux domaines temporels du Saint-Siège. C'est Urbain VIII (1623-1644) qui élève sur les hauteurs surplombant le lac d'Albano la demeure pontificale, loin de l'étouffante chaleur estivale de Rome. Une fois élu pape, le cardinal Maffeo Barberini qui a résidé à Castel Gandolfo, ordonne des travaux afin d'élever une villa pontificale sur le site de l'acropole de la cité antique d'Albe la Longue déjà occupée par le vieux château de la famille des Savelli.
Les travaux de la villa pontificale sont confiés par Urbain VIII à l'architecte Carlo Maderno. Après lui, Le Bernin intervient aussi sur ce chantier pontifical. Malgré la construction de cette résidence pontificale, Urbain VIII n'y résidera jamais, préférant se rendre dans son palais de famille voisin.
C'est Alexandre VII (1655-1667), son successeur, qui le premier habite la villa et en complète la construction. Les papes délaissent ensuite longuement cette villégiature. Ce n'est qu'à partir de Benoît XIV (1740-1758) que les papes résident à nouveau à Castel Gandolfo. Il restaure et agrandit la villa. En 1749, le balcon des bénédictions est construit. Clément XIV (1769-1774) poursuit la restauration et l'embellissement du palais et acquiert la villa Cybo pour agrandir les jardins pontificaux.
A la fin du XVIIIe siècle, les troupes françaises occupent le palais et le saccagent. C'est Pie VII (1800-1823) qui le restaure une nouvelle fois, sans pouvoir en profiter. Grégoire XVI (1831-1846) devient un grand habitué des séjours à Castel Gandolfo et son successeur Pie IX (1846-1878) est le dernier des papes à y résider avant le XXe siècle.
En effet, Rome devenue la capitale de l'Italie en 1870, les papes se considèrent alors prisonniers des Italiens. Pendant 59 ans, la villa est ainsi quasiment laissée à l'abandon. Les papes restent volontairement enfermés au Vatican jusqu'en 1929. Les Accords du Latran mettent alors fin à la brouille entre la papauté et l'Italie, créent l'Etat de la Cité du Vatican et rendent la villa à Pie XI (1922-1939). Celui-ci ordonne immédiatement d'importants travaux de restructuration de l'ensemble des trois sites réunis qui composent désormais la résidence pontificale: le palais d'Urbain VIII, la villa Cybo et la villa Barberini. Il y fait aussi construire l'observatoire astronomique du Saint-Siège, dont une partie a été transféré en 1981 en Arizona (Etats-Unis), en raison de la pollution atmosphérique dans la région de Rome.
Depuis, la villa est devenue la résidence d'été des papes, mais pas uniquement. Durant la Seconde Guerre mondiale, Pie XII hébergea plusieurs milliers de juifs dans des caves situées dans les jardins. Le pape y mourut en 1958, tout comme Paul VI en 1978.