Il castello arroccato su di uno sperone roccioso a dominio del golfo di Sant’Eufemia, fu edificato da Ferdinando I d’Aragona, nel 1486, intorno a un torrione fatto erigere precedentemente dagli Angioini, la cosiddetta Torre Mastra, risalente alla fine del XIV secolo. L’antico castello conserva ancora oggi i suoi volumi compatti, costituiti da un massiccio corpo quadrangolare affiancato da due torri a tronco conico che danno verso l’abitato.
La sua parte trapezoidale è invece a picco sul mare. Il portone d’ingresso è fornito di ponte levatoio. Sul portale si trova una lapide a ricordo di Gioacchino Murat che vi fu rinchiuso e poi fucilato il 13 ottobre 1815.