Il castello, come in tempi pacifici avviene, fu vòlto a' servigi privati: camere, prigioni, manifatture; la fossa occupata da case ed orti; gli spalti da giardini. Ma nel 1846, volendosi allargar una piazza tra esso e il lago per uso del mercato, si stimò bene far la colmata colle pietre della fortezza medesima, togliendo così in gran parte il carattere pittoresco di questo borgo, e mascherandone la veduta con folte piante. Nella demolizione uscirono lapidi e rovine e frammenti curiosi, di cui qui non è luogo di ragionare.
Il patrio castello ispirava all'autore la seguente romanza nel 1834:
ALLA MELANCONIA
Melanconia, dell'anima
Nube soave e cara,
Onde soffrir s'impara
Dei casi all'alternar,
Me del tuo latte al pascolo
Traendo ancor fanciullo,
Dall'ilare trastullo