Nel 1199 la fortezza venne distrutta, così come l’ intero agglomerato cittadino, dai trevigiani.

Durante i primi anni del Quattrocento visse al castello il Vescovo Pietro Marcello ma nel 1410 gli Ungari saccheggiarono e rasero al suolo la struttura. Fu dopo questo scempio che il Vescovo Correr riedificò il castello facendo anche ricostruire la torre visibile tutt’ora. Durante il 1500, fino al 1700, acquisì particolare importanza con l’ apertura di un seminario e in questo periodo la struttura fu frequentata da numerosi artisti e letterati. A fine Ottocento con la confisca di tutti i beni da parte del Regno d’Italia, anche questo edificio passò nelle mani del Re Vittorio Emanuele II ma, non trovando nessun acquirente, ritornò nel  1881 alla Curia.

Importanti lavori di ristrutturazione vennero eseguiti dopo la I Guerra Mondiale e dopo il terremoto del 1936. Tutt’ora il complesso è residenza del vescovo della Diocesi di Vittorio Veneto.