История небольшого флигеля, в котором до революции находились каретный сарай, позже — казенная палата, а после 1917 года и вплоть до передачи комплекса зданий архитектурному музею — разнообразные советские учреждения, насчитывает несколько веков. Флигель был построен в конце XVIII века при одном из самых известных владельцев усадьбы — Александре Талызине. С тех пор это здание постоянно использовалось и стало руиной лишь в 90-х годах XX века, когда после пожара все попытки реставрации объекта оказались свернуты. Несмотря на довольно богатую историю флигеля, отправной точкой проекта архитектурного бюро «Рождественка» стал именно этот, последний и самый печальный этап в судьбе сооружения, которое буквально за несколько лет превратилось из ветхого, но вполне жизнеспособного здания в настоящую руину.