Полицейский участок существовал в этом здании до конца XIX века. Далее оно было перестроено и расширено сначала по проекту инженера-архитектора Антона Доминиковича Фиалковского, а позже — архитектора Александра Павловича Максимова. После происшедших архитектурных изменений в одной половине комплекса, выходившей на канал Грибоедова, разместился полицейский архив, а в другой, связанной с участком бывшей Офицерской улицы (ныне ул.Декабристов), обосновалась Санкт-Петербургская сыскная уголовная полиция. Именно в этой части строения в начале XX века был открыт первый в России музей сыскной полиции.
В 1917 году зданию не посчастливилось. Полицейский архив был разгромлен, здание сожжено. На Офицерской улице строения были перестроены и приспособлены под коммуналку для пролетариев. Сейчас это многоквартирный жилой дом.
Строение же с выходом на канал после пожара было восстановлено и приспособлено в 1920-м году под Губернское архивное бюро, преобразованное в 1929 году в Ленинградский партийный архив. В начале Великой Отечественной войны партархив был эвакуирован в г.Челябинск. После возвращения в 1944 г. партийному архиву было предоставлено новое помещение на улице Смольного. А в здании появился новый хозяин – типография по выпуску картографической продукции, которая в свою очередь в 1998 году уступила место Архиву Городского суда. В 2007 году на столь обремененную тяжелыми и мрачными событиями территорию вторглось искусство. Здесь был открыт Малый зал Центрального выставочного зала «Манеж». Современное искусство внесло энергетику игровой фестивальной легкости в архитектурное пространство. Соседство оказалось неудобным для обеих институций. Архив начал долгий процесс своего переезда, который завершился в декабре 2015 года. В результате Музей искусства Санкт-Петербурга ХХ-ХХI веков (МИСП) начал свой путь освоения всей территории, наполнив ее содержанием динамической современной культуры.
В 1856 году здание из казенного владения перешло во владение частного лица – отставного генерал-майора, участника Отечественной войны 1812 года, Карла Ивановича Альбрехта (1789–1859). Тогда же были выполнены наиболее значительные перестройки особняка по проекту архитектора Августа Ивановича Ланге (1813–1881). Изменения касались главным образом дворовых сооружений, некоторых деталей фасада и интерьерной отделки. С 1880 по 1917 год дом находился во владении семьи промышленников Алафузовых. Купец Иван Иванович Алафузов (1837–1891) в 1860-е годы основал в Казани льнопрядильное, ткацкое и кожевенное производства. Алафузовские фабрики вырабатывали по заказам казны шинельное и мундирное сукно, драп, байку, одеяла, непромокаемые ткани, холсты, брезент, амуницию и другую продукцию. За высокое качество изделий компания была удостоена наград на российских и зарубежных выставках. Расширяя свою деятельность, Алафузов открыл представительскую контору в Петербурге, для чего и купил особняк на Екатерининском канале. После смерти Алафузова наследники организовали Акционерное общество и Торгово-промышленное общество Алафузовских фабрик и заводов. Правление этих обществ, возглавляемое вдовой Алафузова – Лидией Андреевной Алафузовой, находилось непосредственно в этом доме. Здесь же семейство Алафузовых и проживало вплоть до 1917 года. После революции фабрики и заводы Алафузовых были национализированы, и на этом Алафузовская торгово-промышленная империя прекратила свое существование.
В 20–30-е годы XX века в бывшем особняке Алафузовых располагался музыкальный техникум, детская экскурсионно-туристическая станция, техникум физической культуры, а после войны – управление исполкома Ленсовета. В 1990-х годах в главном здании и дворовых флигелях был проведен капитальный ремонт, осуществлены реставрационные работы. До недавнего времени в особняке размещался отель «Львиный мостик». В 2024 году здание передано в распоряжение Музея искусств Санкт-Петербурга XX–XXI веков.