Здание по адресу улица Льва Толстого (ранее Покровская), 55 было построено в первой половине 19 века. Принадлежал дом симбирскому археологу и общественному деятелю князю Василию Ивановичу Баюшеву.
Баюшев собрал более 200 юридических и исторических актов об истории заселения Симбирского края, которые были изданы в виде сборника «Материалы исторические и юридические района бывшего приказа Казнского дворца». Являлся автором статей, помещенных в «Русской старине», «Московских ведомостях», «Симбирских губернских ведомостях» и др. изданиях. Ему принадлежат также статьи о Д.Д. Минаеве, Д.П. Ознобишине, И.И. Пушкареве, М.П. Баратаеве.
В 1894 году здание перестраивалось по проекту архитектора Саввы Ниловича Огонь-Догановского для дворян Зимнинских.