L'origine du château remonte au 13è siècle, quand il fut édifié par les rois de Bohême comme forteresse défensive. Différentes familles au Moyen-âge s'y succèdent, dont la plus importante est celle des Pernštejn. Acheté par la famille de Hradec en 1561, il est transformé en château Renaissance, puis change à nouveau plusieurs fois de mains avant d'entrer en possession de la famille Schwarzenberg, à qui le château doit son aspect actuel. Dans les années 1840-1871, le château est en effet réaménagé de fond en comble dans un style néo-gothique monumental, alors que le domaine se transforme en un immense parc paysager à l'anglaise. La reconstruction est largement inspirée par les voyages en Angleterre - notamment à Windsor - du prince Jan Adolf II de Schwarzenberg et de son épouse, la belle princesse Eléonore née Liechtenstein.