Особняк на Кадетской линии в 1870-х годах занимал его сын художник Павел Брюллов, который был принят в Товарищество передвижных художественных выставок. После смерти Александра Павловича в дом переселилась его дочь Софья, которая была замужем за архитектором Павлом Юльевичем Сюзором. С 1903 года здесь работало общество архитекторов-художников, которое посещали многие известные зодчие и живописцы того времени. С 1907 по 1918 год в доме размещался музей «Старый Петербург», переехавший из здания Академии художеств. Здесь хранились картины и фотографии, архитектурные макеты, подлинники чертежей Растрелли, Кваренги, Камерона, Воронихина, Тома де Томона и других архитекторов. Впоследствии на их основе был создан Музей истории Санкт-Петербурга. Сюзоры прожили в этом доме до 1919 года, когда здание было реквизировано и перепланировано под коммунальные квартиры. В 1939 году дом реставрировался.