Il Castello è attestato per la prima volta nel XII secolo e sorge probabilmente sui resti di un insediamento vestino. L’impianto ha subito molte modifiche nel corso del tempo, anche a causa delle numerose conquiste di cui è stato oggetto, come quella di Braccio da Montone nel 1424, di Alfonso d’Aragona nel 1443 e di Antonio di Castelvecchio del 1648.
Oggi il sito si presenta circondato da una cortina muraria ellissoidale, con due torri pentagonali nel tratto ad Ovest e due torri circolari nel tratto a Nord-Est, una delle quali utilizzata come campanile della chiesa di San Pietro, oggi diruta.
Il castello aveva in origine due ingressi: uno a Nord-Est, di modeste dimensioni e caratterizzato da un arco a sesto acuto e da una feritoia posta a destra dell’ingresso, e uno principale a Sud-Ovest, inserito in una torre quadrata con un arco a sesto acuto al di sopra del quale sono ancora visibili due incavi che costituivano l’alloggiamento per il ponte levatoio.
Nella sommità della torre è ancora visibile una caditoia usata dal corpo di guardia per la difesa dell’ingresso. Entrando da qui nel borgo, sul prospetto interno è visibile una piccola porta tamponata che originariamente era usata dal corpo di guardia per accedere alla parte superiore del castello a scopi difensivi.