Za vreme vladavine kralja Ivana II (1405-1454), Alcázaru su dodati tornjevi i istočne kule, a takođe je proširen i jarak koji ga okružuje. Značajne promene odigrale su se i tokom vladavine Filipa II (1558-1598) kada su na tornjevima napravljeni kosi krovovi. Nakon toga, centar španske vlasti se preselio u Madrid, a Alcázar je postao državni zatvor.
Od 1764. do 1862. godine, dvorac je pripadao Kraljevskom artiljerijskom koledžu, a 1862. godine u velikom požaru je uništen veći deo strukture. Ova nesreća dovela je do obnavljanja dvorca, dvdesetak godina kasnije, kada je renoviran u daleko lepšem i romantičnijem stilu od svoje prethodne verzije. 1898. godine, nakon restauracije, španski vojni arhiv prebačen je u Alcázar i tamo se i danas čuva.
