Il Castello, massiccia costruzione fatta edificare dagli Svevi, domina il profilo della città vista da lontano con la sua figura imponente.

A pianta triangolare, si distingue dagli edifici e dal paesaggio circostante per il suo colore bruno, e si erge a strapiombo sulle rocce calcaree che danno sul mare. Le tre punte del suo perimetro sono rinforzate da caratteristici bastioni a punta.

Fu danneggiato durante le incursioni veneziane e durante la prima guerra mondiale. È attualmente usato dall’esercito