يطلق على هذا البرج اسم "باب الامام" لأنه كان بابا من أبواب القلعة وكان يؤدى إلى قرافة مصر المعروفة حاليا باسم الأمام الشافعى ، كما كان يطلق عليه أيضا اسم بوابة الامام لأن إمام مسجد سارية الجبل اتخذ هذا البرج سكنا له ، وهو عبارة عن برج كبير مزدوج أبعاده 28.70مترا عرضا و2.70مترا عمقا

وكانت قمته قبل تنظيفه عام 1923م عبارة عن سطح من الحصباء.

ويتميز باب القرافة أو الأمام بأن تخطيطه يتكون من فتحة يكتنفها برجان مستيدارن وهذه الفتحة عبارة عن مدخل منكسر أو ما يعرف باسم "الباشورة" وهو عنصر حربى اسلامى يجعل المدخل بفتحتين متعامدتين تمكن من إيقاف المهاجم بداخله.