При императоре Николае I был установлен порядок, при котором для членов императорской фамилии - детей и внуков императора - по достижении ими совершеннолетия в Санкт-Петербурге строились или приобретались великокняжеские дворцы и особняки. Эти дворцы являлись их резиденциями и переходили по наследству к старшему сыну.

Дворец, расположенный на набережной реки Мойки, 122  - один из таких дворцов. Он был построен для Великого князя Алексея Александровича, сына императора Александра II в 1883-1885 годах. Местоположение его резиденции было выбрано в традиционно морской части Санкт-Петербурга, неподалеку от Адмиралтейской верфи, так как Великий князь в 1881 году был назначен главным начальником флота и морского ведомства.

 Проект постройки дворца составил замечательный архитектор того времени М. Е. Месмахер - воспитанник петербургской Академии художеств. Первая самостоятельная работа архитектора - здание архива Государственного совета на Миллионной улице. По его же проекту строились дворец Великого князя Михаила Михайловича на Адмиралтейской набережной, церковь святого Петра на Невском проспекте. Максимилиан Егорович Месмахер занимался отделкой особняков петербургских аристократов и членов императорской фамилии. Им, в частности, осуществлена переделка интерьеров Аничкова дворца, особняка А.А. Половцова и др.

В 1883 году архитектор приступил к работе по проектированию дворца великого князя Алексея Александровича. Строительство началось в 1885 году. Дворец построен на обширном участке по "свободному плану", в котором, однако, все разновеликие корпуса различной этажности и стиля объединены в единой сложной чрезвычайно живописной композиции. В комплекс зданий вошли четырехэтажный жилой корпус, одноэтажные экипажный и конюшенный корпуса, прачечный корпус, оранжереи и сад. В решении фасадов корпусов, входящих в комплекс дворца, использован богатый набор различных декоративных приемов. Парадный двор со стороны Мойки отделён от набережной кованой оградой с золочёными вензелями, изготовленной на заводе Сан-Галли. Одновременно со строительством дворца была проложена новая улица - Алексеевская, с 1923 года переименованная в улицу Писарева.

Работа по возведению дворца для великого князя Алексея Александровича заключалась главным образом в капитальной перестройке и перепланировке уже существовавшего на этом месте особняка церемонимейстера Сабурова, построенного архитектором Д. Е. Ефимовым в 1846-1848 годах.  Получив в свое распоряжение уже существовавшие строения, зодчий сумел использовать их с большим тактом, экономя время и средства. В архитектурном решении Алексеевского дворца сочетались творческий почерк проектировавшего его архитектора и личный вкус великого князя Алексея Александровича, весьма расположенного к удобной и приятной жизни. В создании внешнего облика великокняжеской резиденции было учтено пожелание великого князя жить в особняке, напоминающем романтические замки средневековой Франции, но с полным комфортом конца XIX века.

Входом во дворец великого князя Алексея Александровича служили два подъезда: Главный (Парадный) подъезд в центре и Собственный в восточной флигеле. В оформлении интерьеров дворца сочетались разные стили и эпохи. Сразу за Вестибюлем и Приёмной находились Танцевальный (Белый) зал в стиле рококо, Красная (Розовая) гостиная в стиле Людовика XV, Большая (парадная) столовая, отделанная дубом и вызывавшая особое восхищение гостей. Для этого уникального интерьера академик живописи Э.К. Липгарт выполнил 10 декоративных картин в стиле "малых голландцев" XVII века. В Парадной столовой проводились заседания Адмиралтейского-совета, которые, говорят, открывались весьма своеобразно. Адмиралы во главе с хозяином дома принимали внутрь наполеоновский коньяк, после чего подавался обильный обед, располагавший к мирному решению всех проблем. Далее шли Сервизная, Буфетная и подсобные помещения. Справа от вестибюля находился кабинет, в ренессансное оформление которого были внесены элементы барокко. Слева  -  были Знаменная и Библиотека. Кабинет и Библиотека соединялись с восточным флигелем, где располагалась Собственная половина с личными покоями владельца дворца.

У Собственной половины был Собственный подъезд. Мраморная лестница Вестибюля Собственного подъезда вела в Английскую, Китайскую и Фламандскую гостиные. Английская гостиная - самое большое помещение дворца. В Собственной половине также находились Большая спальня, Шкафная, Ванная-купальня, выполненная в помпейском стиле, и другие помещения.

Восточный флигель дворца венчает Большая башня с винтовой лестницей в 120 ступеней. Оружейная, Комната дежурного офицера и Большая библиотека находились на втором этаже главного корпуса. В подвальных помещениях располагались Нижняя столовая, Кухня, Ледник и Винный погреб, в котором хранилась богатая коллекция вин и около 40 сортов водки.

В июне 1905 года Алексей Александрович после печально известного Цусимского сражения был уволен с должности главного начальника флота и морского ведомства. Вскоре он уехал в Париж, где скончался 1 ноября 1907 года. Часть имущества великого князя, в том числе более 500 полотен и предметов прикладного искусства, была продана наследниками. Сад тоже был продан. В 1911-1912 годах дворец арендовало германское посольств. После 1917 года дворец великого князя Алексея Александровича занимали различные организации. С 1991  по 2005 год дворец арендовало международное информационное агентство «Модус Вивенди», доведшее здание до аварийного состояния. В 2005 году здание было передано Дому Музыки. С того времени вплоть до 2010 года во дворце проводилась сложная капитальная  реконструкция. Сейчас дворец полностью отреставрирован. Домом музыки уже приобретены рояли фирм Steinway, Yamaha, Fazioli - скоро исторические интерьеры дворца огласятся звуками лучших инструментов.