Розташований в глибині саду, музей займає невелику дворянську садибу XVII століття, яка спочатку належала акторові з трупи Мольєра Клоду Розі. Життя його абсолютно трагічно обірвалося на сцені якраз в момент виконання ним ролі в п'єсі Мольєра «Уявний хворий».
Однак будинок продовжував бути безмовним свідком життя людей мистецтва. Близько 1875 року в ньому були обладнані житлові кімнати і студії для художників. Притулок тут знайшли, зокрема, художник Моріс Утрилло і його мати - Сюзанна Валадон, яка працювала акробаткою в цирку, а після травми підробляла швачкою і одночасно натурницею у Дега, Тулуз-Лотрека, Ренуара. А почавши малювати, стала першим художником, прийнятим в Національне товариство витончених мистецтв.