Ідея музею, присвяченого історії міста, з'явилася за часів Другої Імперії, коли багато будинків в центрі французької столиці йшли під знесення. Щоб врятувати зникаючі предмети інтер'єру, в 1866 році за ініціативою барона Османа, тодішнього префекта, був придбаний у власність міста Готель Карнавалі. Цією будівлею, побудованою в 1544 році, пізніше володіло бретонське сімейство Керневенуа. Однак через складність вимови прізвища в Парижі вона стала звучати як Карнавалі.
У цьому особняку і був відкритий в 1880 році музей. Тут виявилися картини, меблі, годинники, дзеркала, скульптури, гравюри та інші предмети. Частину експозиції складають речі, придбані музеєм у приватних колекціонерів і в антикварних салонах.
З 1677 по 1696 рік у готелі Карнавалі жила Мадам де Севінье. Вийшовши за наполяганням батьків заміж в 18 років за маркіза Анрі де Севіньє, вона через шість років залишилася вдовою. Маркіз був убитий на дуелі через коханку. Її двоє дітей виросли, син успадкував гени батька і став ловеласом, а дочка, вийшовши заміж, переїхала в Прованс. Залишившись в готелі Карнавалі, Мадам де Севіньє стала багато і детально писати дочці і іншим знайомим про придворне життя епохи Людовика XIV.
Її тексти - чудовий зразок епістолярного жанру. У музеї Карнавалі збереглася галерея Мадам де Севіньє, і можна цілком жваво уявити собі, як вона писала листи за лакованим китайським столиком. До речі, і вулиця, на якій розташований музей, названа як раз в її честь.
У 1989 році до музею був приєднаний сусідній особняк - Готель Ле Пелетьє де Сен-Фаржо (L'hôtel Le Peletier de Saint-Fargeau). У ньому знаходяться колекції, що охоплюють період від революції до наших днів. Один з останніх експонатів - бальний зал в стилі ар-деко з Готелю Вендель, розписаний в 1925 році іспанським художником Хосе Марією Серт.