Замок Ріомаджоре будували на пагорбі Черріко над містом, щоб він мав домінуюче становище, а значить - і захисну функцію. Адже в ті часи Ріомаджоре страждав від набігів сарацинів. Маркіз Туркотті заклав замок в 1260 році, проте добудували його тільки за часів Генуезької республіки. Взагалі, зведення укріплень тривало до XVI століття. Пізніше, коли оборону тут ніхто вже не тримав, на території знесеного замку через відсутність місця в місті навіть зробили кладовище. Частково зруйновані стіни і башти створювали відповідне враження. Сьогодні кладовища не існує.
В даний час замок здебільшого знаходиться в занепаді. Найбільш збережену частину замку - дві круглі вежі - можна оглянути. Після екскурсу в історію приємно присісти відпочити на одній з лавок на терасі, яку влаштували позаду замку. З неї відкривається заспокійливий вид на узбережжя.