Музей располагается в доме, который с 1897 года являлся собственностью семьи Набоковых. Со своего рождения (1899 год) до ноября 1917 года в стенах дома проживал Владимир Набоков. После выезда писателя за границу, дом на Большой Морской периодически оживал в его литературном творчестве. Наиболее детальное описание можно встретить в автобиографическом романе «Другие берега». «Единственный дом в мире» В. Набокова сегодня воплотил в себе черты давно минувших дней, а также собрал обширную коллекцию вещей, связанных с жизнью и творчеством писателя.
