Цей замок був зведений в 1549 (будівництво йшло десять років) за наказом імператора Священної Римської Імперії, Карла V. Над його створенням трудився Джан-Джакомо дель Акая, провідний архітектор Неаполітанського королівства.
Щоб звільнити місце для будівлі, довелося знести поблизу бенедиктинський монастир і церкву. Замок не завжди служив тільки оборонним цілям: у XVIII столітті частина його приміщень використовувалася в якості театру, а в 1870-1979 роках він служив штаб-квартирою військового округу.
Існує легенда про те, що раніше, до побудови могутньої фортеці, в XIV столітті сім'я Орсіні дель Бальцем тримала в кріпосному рові білого ведмедя. Тварина була своєрідним символом могутності прізвища, а заодно відлякувала злодіїв і жебраків.
В даний час тут проводяться різні культурні та громадські заходи. І діє музей пап'є-маше - Museo della Cartapesta - яким колись славився Лечче. Привертає також увагу багата внутрішня обробка замку, вишукані інтер'єри та вітражі.