В Смутное время город неоднократно переходил из рук в руки. В 1612 году Вязьма направила в ополчение князя Пожарского свой отряд.