Ця велика будівля унікальна своїми чотирма фасадами. Три з них залишилися від попередніх будівель - давньоримських воріт, замку і середньовічної фортеці. Що не дивно, адже в XIII столітті його зводили на місці давньоримського табору. По кутах розташовані круглі вежі. З цього боку палац має вельми похмурий і суворий вигляд. А ось четвертий фасад абсолютно відрізняється від інших - це класичний світлий бароковий фасад, який встиг спроектувати і побудувати великий Філіппо Ювара. Через ці контрасти будівля не має візуальної цілісності і сприймається як дві окремі будівлі. Зате всередині палац є прекрасним і цільним зразком архітектури бароко. Його багаті інтер'єри - в тому числі найурочистіші зали і середньовічний дворик - можна оглянути безкоштовно.
Опинившись в Палаццо Мадама, варто заглянути в Музей стародавнього мистецтва, велику частину експозиції якого займають експонати з Гандхари - стародавнього царства, розташованого на території від східного Афганістану до північно-західного Пакистану.