Manuel Comène Ier fit construire ces remparts au XIIe siècle pour assurer la protection du quartier des Blachernes où résidaient les empereurs byzantins.

Manuel Ier Comène (1118 - 1180), empereur byzantin, épousa en secondes noces Marie d'Antioche, fille de Raymond de Poitiers prince d’Antioche et de Constance d’Antioche.

Ce n'est qu'à la fin du XIXe siècle que le quartier d'Ayvansaray commença à se peupler de gens pauvres profitant de l'abondance des ruines des palais byzantins pour ériger leurs propres demeures. Jusque dans les années 1960, les maisons étaient surtout en bois, quelques unes en pierres ou autres matériaux de récupération. Plus tard, les habitants érigèrent de grandes maisons et dans certaines parties du quartier, également des immeubles de quatre ou cinq étages.

Ayvansaray est situé à l’extrême nord de la mairie de Fatih, entre les remparts de Théodose, la Corne d’Or et le quartier du Balat.