Il castello è passato nelle mani delle famiglie che hanno avuto il governo della città: Roberto, nipote del Guiscardo, i Macabeo, Goffredo di Lecce, Enrico di Navarra, fratello della regina Margherita, Ugo de Maccla, i Sanseverino, Bertoldo di Hoemburg, Manfredi al quale era stato donato da Federico II, Pietro di Beaumont, Giovanni di Monfort, i Del Balzo, gli Orsini ed i Grillo–Cattaneo.
Nel XVII secolo ad opera della famiglia Grillo che acquista il feudo, il castello è trasformato in palazzo: l’edificio è restaurato e vengono affrescate le volte del piano superiore.
Nel 1857 è demolito il braccio dell’edificio che collega Porta Maggiore ed è ricostruita la facciata in stile neomedievale, con merli e garitte.
Tra il 1960 e il 1964 è demolita l’ala meridionale, con una delle torri d’ingresso.