Дом, состоящий из двух корпусов — по Невскому проспекту и по Фонтанке — и принадлежавший с 1820-х годов купцу Ф.И. Лопатину, долгое время был одним из центров литературной жизни Петербурга. В нем жили И.И. Панаев (редактор журнала «Современник»), А. А. Краевский (редактор «Отечественных записок»), квартировали И.А. Гончаров, Д.В. Григорович, Д.И. Писарев, Ф.И. Тютчев. В 1842-1846 годах в корпусе, выходящем на Фотнанку, здесь жил и работал В.Г. Белинский. В этот период он написал свои основные литературно-критические труды. В 1850-1851 г.г. в доме жил И.С.Тургенев, работавший над пьесами и «Записками охотника». В конце 1905 года в Литературном доме открылось издательство «Новая жизнь».

28 ноября 1941 года в здание попала фугасная авиабомба, вызвавшая обрушение центральной части фасада по Невскому проспекту.

После Блокады дом начали восстанавливать одним из первых, уже в 1944-м, завершив все работы к 1950 году. Победивший в конкурсе проект Бориса Журавлева и Игоря Фомина предусматривал сохранение уцелевших конструкций и стен, но предлагал новое решение выходящего на Невский фасада. Это объяснялось прежде всего новой функцией бывшего доходного дома, в котором должы были разместиться органы советской власти.

В послевоенное время (до 1993 года) здесь работал исполком Куйбышевского района, затем — налоговая инспекция Центрального района, позднее здание заняла Федеральная налоговая служба.

С 1974 и до 1998 г. корпус, выходящий на Фонтанку (дом № 40), имел статус памятника истории федерального значения. Законом Санкт-Петербурга № 174-27 от 5 июля 1999 г. единым памятником истории были объявлены оба корпуса, записано так: «Дом, где жили: в 1837 г. актриса Асенкова Варвара Николаевна, до 1843 г. издатель Краевский Андрей Александрович (кв. 47), в 1842–1846 гг. революционный демократ, писатель и литературный критик Белинский Виссарион Григорьевич (кв. 55, 48, 47, 43) —наб. Фонтанки, 40; Невский пр., 68».
Согласно п. 3 ст. 64 федерального закона № 73, все памятники, признанные таковыми к моменту его вступления в силу (2002 г.), должны были быть автоматически отнесены к объектам культурного наследия с включением в Единый государственный реестр. То есть такой статус получали и дом 40 по Фонтанке, и дом 68 по Невскому. Однако, по невыясненным пока причинам, в списке охраняемых объектов у КГИОП остался только корпус по Фонтанке.

В начале 2000-х Невским, 68 заинтересовался первый инвестор — холдинг «Веда», к 2003 году подготовивший полный пакет инвестиционно-тендерной документации на реконструкцию этого здания под жилой дом со встроенными помещениями. Развитию проекта помешала гибель в 2005 г. учредителя и главного совладельца «Веды» депутата Госдумы Кирилла Рагозина.

В сентябре 2006 года корпус дома, выходящий на Невской проспект, был передан ООО «Автокомбалт» («Промышленная группа «Союз») для реконструкции под апартамент-отель (без торгов, в рамках городской программы создания гостиниц). Взамен компания по инвестиционным условиям за свой счет построила новое здание для налоговой службы на Лермонтовском проспекте, 47.

После переезда налоговой инспекции в 2009 году здание стояло заброшенным. В сентябре 2010 года служба строительного надзора согласовала «демонтаж аварийных конструкций», а именно полный снос здания за исключением фасада. В качестве причин значились перегруженный фундамент, пропускающие холод стены, а также ... ветхие стропила.
Вокруг дома со стороны Невского проспекта появился строительный забор, а в середине декабря группа компаний «Крашмаш» приступила к разборке здания.

17 декабря 2010 года на совещании у вице-губернатора Игоря Метельского застройщик сообщил, что принял решение полностью снести дом без сохранения фасадных стен. КГИОП не дал согласия на уничтожение всего исторического здания, однако, поскольку оно не являлось объектом культурного наследия, мнение Комитета по охране памятников не повлияло на решение о сносе.

Движение «Живой город» категорически против сноса этого здания. Действительно, с точки зрения архитектурных достоинств оно не было самым ценное в городе. И после войны его внешний облик подвергся значительным изменениям. Но за «сталинским» фасадом скрывались подлинные исторические конструкции. Кроме того, создан очередной прецедент нарушения закона — историческое здание сносится, когда есть возможность его сохранить. Инвестор не скрывает, что главная причина сноса — неудобство планировки дома для размещения в нем гостиницы.