Родился 22 сентября 1953 г. в Ленинграде (ныне - Санкт-Петербург) в семье военного инженера.
В 1975 г. окончил Московский финансовый институт (ныне - Финансовый университет при правительстве РФ) по специальности "международные экономические отношения".
В 1974-1987 гг. работал по Внешторгбанке СССР, в 1985-1987 гг. был заместителем генерального директора отделения Внешторгбанка в Цюрихе (Швейцария). Затем в 1987-1990 гг. работал генеральным директором советской заграничной внешнеторговой кредитной организации Donau Bank (Донау банк, Вена, ныне - ВТБ Банк Австрия).
В январе 1991 г. в Вене Андрей Акимов основал и стал управляющим директором финансовой компании Investment Management & Advisory Group ("Инвестмент менеджмент энд эдвайзори груп", IMAG), специализировавшейся на инвестициях в энергетику и промышленность России. В частности, в 1990-х гг. компания была финансовым консультантом администрации губернатора Санкт-Петербурга Анатолия Собчака, привлекла иностранные инвестиции для реконструкции Киришского нефтеперерабатывающего завода. Работал в IMAG до 2002 г. Одновременно являлся штатным советником председателя правления Внешторгбанка.
14 января 2003 г. был назначен председателем правления ЗАО "Газпромбанк" (ныне - АО). Под руководством Андрея Акимова банк укрепил свою позицию как третье в России кредитное учреждение по объему активов. Также Акимов принимал участие в превращении "Газпрома", основного клиента банка, в вертикально интегрированную корпорацию. С 16 июня 2003 г. Андрей Акимов занимает пост заместителя председателя совета директоров кредитной организации.
6 апреля 2018 г. в отношении Андрея Акимова были введены санкции США в рамках закона "О противодействии противникам Америки посредством санкций".
В 2011-2013 гг. был председателем наблюдательного совета госкомпании "Российские автомобильные дороги".
В настоящее время является членом советов директоров ПАО "Газпром", ПАО "Новатэк", АО "Роснефтегаз", членом наблюдательного совета хоккейного клуба ЦСКА.
Награжден орденами Почета (2008), "За заслуги перед Отечеством" IV степени (2013), Александра Невского (2017).