Il portone del castello dà accesso a un atrio e allo scalone che conduce agli originari appartamenti ducali. Da qui si può raggiungere i resti di un bastione difensivo e un residuo dei giardini pensili. Alle spalle di questo edificio si trova l’antica torre normanna di Noja, ormai mozzata. Attorno al perimetro originario del castello sono visibili ampi tratti dell’imponente fossato di epoca normanna, sul quale si affacciano balconate dalle colonne scandite dallo stemma della famiglia Caracciolo.