Своё существование музей начал 29 апреля 1968 года как Парфеньевская картинная галерея, основателем которой был художник и краснодеревщик Павел Николаевич Ухов. В собрании имеется 240 его работ и произведения художников Москвы и Парфеньева Костромской области. 3-го ноября 1986 года в здании жилого дома, ранее принадлежавшего земскому врачу, начал работу Литературный художественный музей, а с декабря 1999 года произошло их слияние в действующий ныне музей.
