Гауптвахта была построена в здании, возведенном в 1843 году. Сюда 27 апреля 1851 года был помещен арестованный за участие в Кирилло-Мефодиевском братстве поэт и художник Тарас Шевченко. В экспозиции музея – свидетельства и документы о пребывании поэта в Орске (1847 – 1848 г.), Аральской экспедиции (1848 – 1849 г.), в Оренбурге (1849 – 1850 г.) и семилетней ссылке в Ново-Петровском укреплении на полуострове Мангышлак.