Одна з найпомітніших (в буквальному сенсі цього слова) пам'яток Муджі - це замок, Castello di Muggia. Він був побудований на високому місці, між 1374 і 1399 роками за велінням патріарха Аквілея для захисту міста і розміщення гарнізону, однак у військових цілях майже ніколи не використовувався.
Як виглядав замок в найперші століття після будівлі, історики не знають. Будівля багато разів перебудовувалася і відновлювалося. На самому початку XVIII століття були відреставровані стіни і пласкі зубчасті вежі в гвельфському стилі, але вже до XX сторіччя замок прийшов до повного занепаду. Ворота були знесені для полегшення проходу людей, а пізніше і розширені для проїзду автомобілів.
З 1991 року замок знаходиться в приватному володінні і належить скульптору Віллано Боссі та його дружині Габріеллі, які намагаються зберегти цей древній пам'ятник культури і повернути йому колишню пишність. Замок відкритий для відвідувачів. З висоти його стін, як і в колишні часи, видно все місто і гавань, пагорби, порослі лісом, золотисті пляжі і Адріатичне море.