В конце 3-го века слюдяной отрог над рекой Мен был все еще занят укрепленным галло-римским поселением. Вне сомнения это место, столь удобное для обороны, имело примитивные фортификации в доисторическую эпоху и во времена кельтов. Галло-римская крепостная стена, шириной в 5 м у основания и 3 м у вершины, пережила нашествия визиготов, бретонцев и прочих завоевателей. Норманны, захватив Анже, владели городом шесть лет, пока Карл Лысый, внук Карла Великого, не начал, вместе со своим союзником герцогом Бретонским, освобождение провинции Мен.
Отрезанные от воды и потерявшие боеспособность, викинги были вынуждены оставить Анже, хотя еще не раз устраивали набеги на город. Графы Анжуйские, первая анжерская династия, возвели в 10-11 вв. на юго-западном углу скалы главный форт, крепостные стены и капеллу Жофрой. Сын Фулька Нерра, женившись в 1128 г. на Матильде, дочери Вильяма, герцога Нормандского и короля Англии, возвел на месте двора сеньоров замок площадью 5 тыс. кв. м (от него остались некоторые фрагменты). Его старший сын Генрих II Плантагенет женился на взбалмошной Элеоноре Аквитанской (отвергнутой прежде французским королем Людовиком VII) и унаследовал по материнской линии английский трон. Анже, где его двор обосновывался так же часто, как и в Лондоне, стал континентальной столицей «Короля леопардов» – как при собственном правлении Генриха, так и при правлении его сына Ричарда Львиное Сердце. В 1203 г. Филипп Август покончил с притязаниями Иоанна Безземельного, брата и преемника Ричарда, присоединив к своей короне Анжу, Мен, Нормандию и Бретань. Его невестка Бланка Кастильская и его внук Людовик IX возвели на анжерской скале одну из самых могучих крепостей королевства. Поставленная в самом сердце владений, отторгнутых от Плантагенетов, крепость была призвана защитить эти земли от Генриха III Английского, сына Иоанна Безземельного.
Людовик IX появился в Анже в 1231 г., когда ему было всего 17 лет. Крепостные стены из слюдяного камня с крепами из белого известняка, длиной 952 м, образуют пятиугольник площадью 25 тыс. кв. м. Северо-западная стена обрывается прямо в реку без каких-либо фортификаций: с этой стороны атака была невозможна. Другие стороны были фланкированы 17-ю башнями, каждая диаметром 18 м, с коническими основаниями. Как и в Каркассоне, другой крепости Людовика Святого, каждая башня имеет по пять узких бойниц в шахматном порядке. Северная башня, прозванная Мельничной, аналогична другим, но имеет верхний бруствер. В самом деле, Генрих III опасавшийся, что крепость попадет в руки протестантов и станет их неприступной цитаделью, приказал срезать остальные башни до уровня куртин. Мельничная башня со своими пристройками осталась служить защитой от западных ветров и мельницей, моловшей гарнизону муку. 18-ая башня, известная как башня Гийон, служила складом провизии, но в 1832 г. была снесена.
В 1246 г. Людовик Святой пожаловал Анже своему брату Шарлю I Анжуйскому, который был всецело увлечен Сицилийским королевством. Затем Анже перешел его сыну Шарлю I, зятем которого сталь Шарль де Валуа, отец Филиппа VI. Последний, взойдя на трон в 1328 г., воссоединил Анжу с французской короной. Так закончилась история первого в истории Франции Анжуйского Дома.
Второй Анжуйский Дом начался, когда Иоанн II Добрый отдал Анжу, возведенное в ранг герцогства, своему сыну Луи, герцогу Анжуйскому. Старший сын Иоанна стал королем Карлом V. В 1367 г. Луи, такой же поклонник искусств и зодчества, как и его трое братьев (Карл, перестроивший Лувр, Жан, герцог Беррийский и Филипп, герцог Бургундский), поручил своему архитектору Масе Делярю улучшить резиденцию. Он же заказал изготовление гигантского гобелена ‘’Апокалипсис’’, состоявшего из семи одинаковых частей, общей длиной 144 м и высотой 5,5 м, сотканного в Париже в 1377-80/82 гг. мастером Николя Батайе на основе серии миниатюр Эннекена Брюжского. Гобелен, переданы королем Рене в городской собор, был затем выброшен и к 19 веку забыт. До нас дошло 70 сцен гобелена (из 105): они выставлены в специально оборудованной галерее замка.
Луи I скончался в 1384 г. Его наследник Луи II в 1402 г. женился на Иоланде Арагонской (их зятем стал Карл VII). Герцог и герцогиня сохраняли замок в вооруженном состоянии. По их желанию были возведены королевские палаты и новая часовня. Прямоугольная часовня, построенная в 1405-1413 гг., имеет плоскую апсиду и трехпролетным «анжуйским» сводом.
От королевских палат осталось только крыло, пристроенное к капелле. Другое крыло, стоявшее под прямым углом и возвышавшееся над Меном, не сохранилось. Сын Луи и Иоланды, король Рене продолжил строительство и соорудил у западной части капеллы винтовую лестницу, соединившую этажи палат. Она сообщалась со всеми залами этажей и давала возможность наблюдать за зрелищами во дворе сеньоров, не выходя на палящее солнце. Король Рене также детально спроектировал в 1451 г. для этого двора, некогда замкнутого, надвратную башню. Затем он занялся садами. Из своего графства в Провансе он выписал цветы и кустарники, а из Берберии ему привезли различных животных для зверинца. Опись тех времен позволяет представить грандиозность апартаментов, которые насчитывали 54 спальни (до нас дошли лишь два больших зала). В 1475 г. Рене был вынужден предоставить Анжу своему племяннику Людовику XI и удалиться в Прованс. Людовик прорыл у стен замка сухие рвы, которые позже, в конце 16-го в., расширил Жан дель Эспин. Жан Бурре, комендант крепости, обновил ее артиллерию. Только в 1562 г. замок был приведен в состояние, соответствовавшее новым формам военных действий. Этим занялся Филибер Делорм, привлекший к руководству работами своего анжуйского друга Жана дель Эспина. В последующие века Анже был и гарнизонной цитаделью, и тюрьмой (одним из ее заключенных был Фуке). Сохранилось двое средневековых ворот: городские ворота на северо-востоке и ворота, ведущие в поля, на юге. Между воротами располагался военный плац: теперь здесь – французский сад и резиденция губернатора, построенная в 18-ом веке с лестничной клеткой 15-го века.