Eretto dai Macabeo sul finire del XI secolo a controllo di Porta Maggiore, è organizzato intorno ad un cortile al quale si accede da un portale affiancato da una delle due torri superstite. La torre centrale, a pianta quadrangolare, è resa irriconoscibile da una serie di moderni riadattamenti. Al castello è annessa la chiesa di S. Caterina, oggi adibita a bar.
Il castello è passato nelle mani delle famiglie che hanno avuto il governo della città: Roberto, nipote del Guiscardo, i Macabeo, Goffredo di Lecce, Enrico di Navarra, fratello della regina Margherita, Ugo de Maccla, i Sanseverino, Bertoldo di Hoemburg, Manfredi al quale era stato donato da Federico II, Pietro di Beaumont, Giovanni di Monfort, i Del Balzo, gli Orsini ed i Grillo–Cattaneo.
Nel XVII secolo ad opera della famiglia Grillo che acquista il feudo, il castello è trasformato in palazzo: l’edificio è restaurato e vengono affrescate le volte del piano superiore.
Nel 1857 è demolito il braccio dell’edificio che collega Porta Maggiore ed è ricostruita la facciata in stile neomedievale, con merli e garitte.
Tra il 1960 e il 1964 è demolita l’ala meridionale, con una delle torri d’ingresso.