Первой киблой мусульман была одна из трех, считающихся  самыми священными, мечетей. Бет макдеша - ее исконное название на арамейском языке. На древнееврейском языке оно звучит Бет ха-микдаш, а на арабском - Бейтулмакдис, что означает "Священный дом".

Это имя, которое мечеть носила с момента своей постройки, позднее перешло и на весь город. Полюбившееся мусульманам название города Кудус происходит от одного и того же корня, что и слово "макдис", и в своей основе оно обозначает не город, а место поклонения.
Ученые мужи ислама единодушно признают, что место, упоминаемое в Священном Коране под названием аль-Масджид аль-Акса, окрестности которого были благословлены и есть Бейтулмакдис. По-арабски акса означает "далекий", и этот храм был назван так по причине своей удаленности от Мекки. Согласно учению иудаизма сей храм существовал еще до сотворения мира и находился на небесах. Господь начал сотворение мира с того места, куда падала тень этого храма. Позднее Бог на этом же месте создал Адама. Однако согласно одному из хадисов это место является вторым после Заповедной мечети (Масджид аль-Харам) храмом, построенным для того, чтобы люди поклонялись в нем Аллаху.

Подобно тому, как сегодня Кааба вместе с ее окрестностями называется Масджид аль-Харам, так и Мечеть аль-Акса с прилегающей к ней территорией называется Харам аль-Шариф. Под этим названием подразумевается участок старого Иерусалима, окруженный стеной, протяженность северной стороны которой составляет 321 м., южной - 283 м., восточной - 474 м., и западной - 490 м., а сама стена местами достигает высоты 30-40 м. В пределах этой территории находится также и священное место, называемое Куббат ас-Сахра.

Определение места возведения и составление плана мечети аль-Акса началось при пророке Дауде.  Однако Аллах  сообщил, что храм будет построен пророком Сулейманом. После этого, пророк Дауд поведал своему сыну Сулейману о своих планах и велел ему построить храм, предоставив ему все необходимые для строительства материалы и специалистов.

Иерусалим, который был наполнен очень ценными и дорогими вещами, после пророка Сулеймана неоднократно подвергался разграблению и разорению захватчиками. Самое большое разграбление произошло во время третьего захвата Иерусалима вавилонским царем Бухтуннасром II (Навуходоносор, ум. 586 г. до н.э.). Бухтуннаср, превративший город в развалины, помимо награбленных трофеев и большей части его населения отправил в Вавилон также и золотые барельефы, сорванные с ворот и стен разрушенного храма. Начавшийся таким образом Вавилонский плен завершился после покорения Вавилонии персами (539 г. до н.э.). Тогда вождь вернувшихся в Иерусалим иудеев Зоровавель со своими сподвижниками вновь отстроил храм (515 г. до н.э.), и это строительство  продолжалось на протяжении около двадцати пяти лет. Затем Иерусалим, на короткое время оказался под властью парсов. В 37 году до н.э. Ирод I (Ирод Великий), которого римляне объявили царем иудеев, с их же помощью овладел Иуресалимом, после чего храм был отстроен заново и увеличен. Это строительство началось за двадцать лет до рождества пророка Исы и продолжалось в годы его жизни. Знаменитая Стена плача, у которой возносят молитвы современные иудеи, считая ее частью первозданного храма Соломона, представляет собой останки части западной стены, окружающей это святилище. Вероятно, в этом же здании находились упомянутые в Коране кельи, в которых служили Богу пророк Закарийа и досточтимая Марийам. В 70-м году после рождества, во время оккупации римским войском под командованием Тита вместе с Иерусалимом, который вскоре был полностью уничтожен огнем, был разрушен и храм. Город восстанавливался во время правления Адриана (117-138), но тогда на месте Байтулмакдиса был возведен Храм Юпитера Капитолийского. Предполагается, что это сооружение было разрушено после принятия христианства императором Константином.

В первом айате суры "Исра" ясно сообщается, что до совершения путешествия на небеса (ми'радж), Пророк был доставлен в мечеть аль-Акса, являвшуюся первой киблой мусульман. После хиджры в Медину это место продолжало оставаться киблой еще на протяжении шестнадцати-семнадцати месяцев. Такое положение ясно свидетельствует о том высоком статусе, который мечеть аль-Акса имеет в Исламе. Таким образом, мечеть аль-Акса является одной из трех (наряду с Масджид аль-Харам и Масджид ан-Наби) мечетей, о необходимости посещения и поклонения в которых говорил Посланник Аллаха за много лет до того, как мусульмане овладели Иерусалимом. Это подтверждается также и хадисами, гласящими о том, что намаз, совершенный в одной из перечисленных мечетей, в пятьдесят тысяч раз превосходит намаз, совершаемый человеком дома в уединении. Досточтимый Умар, получив ключи от Иерусалима, принял личное участие в работе по очистке территории мечети аль-Акса (Храма Соломона) от мусора и щебня, накопившегося в эпоху христианства, а затем провел коллективную молитву на площадке к югу от Скалы. Позднее он распорядился выстроить на этом месте мечеть. Несмотря на сообщение со ссылкой на Йакуби о том, что во второй раз аль-Акса была выстроена умайадским халифом Абдулмаликом б. Марваном на доходы, поступавшие из Египта в течение семи лет, из греческих государственных актов, относящихся к эпохе наместничества в Египте Курры б. Серика,  становится ясным, что инициатором постройки этого здания в 90-96 гг. (709-714 гг. р.х.) был Валид I. Во время землетрясения, случившегося в 130 г. (747-48 гг.), мечети был нанесен значительный урон. Возможность восстановить здание появилась лишь в годы правления Абу Джафара аль-Мансура (754-775) благодаря чеканке денег из золотых и серебряных облицовочных деталей, украшавших ее двери. В 158 г. (775 г.) новое землетрясение привело к частичному разрушению здания, но оно было восстановлено халифом Махди-Биллахом. В 425 г. (1034 г.) мечеть аль-Акса в очередной раз была разрушена землетрясением. По приказу халифа Захира были начаты ремонтно-восстановительные работы. В итоге здание было укреплено нефами, возведенных по четыре с правой и левой его сторон. Хотя после благоустройства, проведенного при Салахаддине Айюби, повергшего крестоносцев, ремонт и был продолжен, все же  сегодня большая часть здания сохранила вид, который оно имело при Захире. Во времена, когда Салахаддин Айбби отвоевал Иерусалим, восстановление мечети аль-Акса в первозданном виде потребовало больших расходов, чем расходы на мечеть Купол Скалы. Сюда был доставлен и установлен минбар, изготовленный в Алеппо по приказу Нураддина Занги. В 1217-1218 гг. по распоряжению племянника Салахаддина аль-Малика аль-Муаззама, являвшегося эмиром Дамаска, к северному входу был пристроен портал. Что касается источника, находящегося к северу от мечети аль-Акса, то он относится к XIX веку.

В эпоху мамлюков и османов мечеть аль-Акса неоднократно ремонтировалась. Отчет о ремонтно-восстановительных работах, произведенных в мечети по инициативе султана Сулеймана Справедливого, был утерян в конце XIX века. Что касается описания ремонтных работ 1114 года (1702-1703), произведенных по распоряжению Махмуда Афанди, то оно хранится в исламском музее (Джами аль-Магариб), находящемся в западной части мечети. До наших дней дошли также две из четырех книг, посвященных историческому ремонту, проведенному султаном Махмудом II в 1233 г. (1817-18 гг.). При султане Абдулхамиде II в мечети были обновлены ковры и светильники. Со времен британского мандата (с 1922 г.) широкомасштабные рестраврационные работы проводились под руководством архитектора Кемаледдин-бея.