Двухэтажный, на подвалах, дом № 3 был возведен в первой четверти ХVIII века по образцовому проекту домов «для именитых» архитектора Ж.-Б. Леблона. В первой половине ХУШ века он принадлежал К. Н. Зотову, сыну известного учителя Петра I. Владелец участка занимал высокий пост контролера при Адмиралтейств-коллегии, был автором нескольких руководств по морскому делу.

В 1823 году архитектор В. И. Беретти для купчихи А. Бракгаузен перестроил здание в формах классицизма, дополнив композицию четырехколонным портиком дорического ордера. В 1832 году в этом доме поселился американский посол Дж. Бьюкенен, который писал: «Я занял очень хороший дом на берегу Невы с прекрасным видом на эту величественную реку и корабли, входящие в этот изумительный город…».

В 1872 году для очередного владельца — коммерсанта Л. К. Эстеррейха — архитектор Р. А. Гедике перестроил здание, изменил фасад придал ему отделку в «стиле Людовика XVI». В 1890-х годах дом перешёл к отставному министру путей сообщения и члену Государственного Совета А. К. Кривошеину.

В эпоху СССР особняк стал сначала конторой пароходства, а затем жилым домом.

В начале 2000-х годов постройка была расселена, однако её приспособление под новое использование так и не началось. В конце 2000-х предпринимались попытки реставрации фасада, однако в результате они свелись лишь к монтажу лесов и защитной сетки.

18 сентября 2015 в ходе т.н. «выездного четверга» вице-губернатора Албина в Василеостровском районе глава района Юлия Киселёва подняла вопрос об изъятии или выкупе особняка у владельца. По итогам совещания было дано поручение КГИОП «провести переговоры с собственником объекта культурного наследия с целью ускорить проведение работ по сохранению памятника».
Уже через месяц, 16 октября, Комитет по охране памятников отчитался, что «подготовил задание на комплексный ремонт, реставрацию и приспособление здания для современного использования».

Однако никаких ремонтных работ до сих пор так и не началось. В 2017 году были убраны фасадные леса, находившиеся уже под угрозой обрушения, а фасад затянут баннером.