كان تعرض مسجد عمرو بن العاص للحريق والتخريب والهدم بسبب إحراق الفسطاط، فأثناء الحملة الصليبية على بلاد المسلمين، شعر الوزير شاور بالخوف من احتلال الصليبيين لمدينة الفسطاط، فعمد إلى إشعال النيران فيها، حيث كان عاجزا عن الدفاع عنها، واحترقت الفسطاط.

وكان مما احترق وتخرب وتهدم جامع عمرو بن العاص، وعندما ضم صلاح الدين الأيوبى مصر إلى دولته، أمر بإعادة إعمار المسجد من جديد عام 568 هجريا، فأعيد بناء صدر الجامع والمحراب الكبير الذى تغطى بالرخام.

مساحة مسجد عمرو بن العاص وقت إنشائه كانت 50 ذراعاً × 30 ذراعاً وله 6 أبواب، وظل كذلك حتى عام 53 هجريا؛ حيث تمت زيادة مساحته فى عهد معاوية بن أبى سفيان، وأقام فيه 4 مآذن.

وتوالت الإصلاحات والتوسعات بعد ذلك على يد من حكموا مصر حتى وصلت مساحته بعد عمليات التوسيع المستمرة نحو 24 ألف ذراع معمارى، ومساحته الحالية 120 × 110 متر.