Начало музею в усадьбе было положено княгиней Викторией Ивановной Поленовой в конце XIX века. Коллекции скульптуры, текстиля, мебели и оружия бережно сохранялись ее потомками. 27 октября 1918 г. вышел декрет «О национализации имения Поленовых», и 1 июня 1919 г. музей в усадьбе был открыт для посетителей.

На протяжении многих лет музей-усадьба организовывает выставки и ведет просветительскую деятельность по истории искусств в продолжение традиции семьи Поленовых.