Замок Доріа - оборонна споруда висотою близько сімдесяти метрів - було побудовано на півдні від Вернацци в XIII столітті. Але перша фортеця на цьому місці походить з XI століття - часу панування над цими землями лангобардської сім'ї Обертенгі. Циліндрична вежа, відреставрована в XIX столітті, є найбільш давньою частиною споруди. У XII столітті замок був окупований пізанцями, але після програної ними битви при Мелорі, в якій брали участь і кораблі з Вернацци, був повернутий Генуезькій республіці.
Під час Другої Світової війни в фортеці розташовувалися артилерійські позиції німців. За документами XIV століття всередині замку була капела, присвячена святому Іоанну Хрестителю, від якої сьогодні не залишилося ніяких слідів. Також всередині фортеці зберігалося древнє бронзове знаряддя з написом на латині «Комуна Вернацца», яке було «запозичено» англійськими солдатами і тепер знаходиться в Британському музеї.