Здание, в котором он расположен, построил еще в XIX веке архитектор и художник Александр Гольмдорф. Потом его перекупил издатель и писатель Иван Иванов. При обоих хозяевах этот дом был местом встреч и собраний лучших людей своей эпохи. Были здесь и Майков, и Плещеев, и Надсон, и Салтыкова-Щедрин, и Гончаров, и Ахматова, и Гиппиус, и Блок.

Сперва тут был организован обычный краеведческий музей, но по мере накопления экспозиции становилось понятно, что главной (и чуть ли не единственной) темой является дачный отдых. Так что с 2009 года вся экспозиция посвящена исключительно тому, как отдыхали за городом жители Петербурга-Петрограда-Ленинграда последние 200 лет.