قال ويقال إن الله تعالى كلم موسى عليه السلام عليه
ويقال إن ابن طولون أنفق على هذا الجامع مائة ألف دينار وعشرين ألفا من كنز وجده
ويقال إنه لما فرغ من بنائه أمر بتسمع ما يقوله الناس فيه من العيوب فسمع رجل يقول محرابه صغير وآخر يقول ليس فيه عمود وآخر يقول ليس فيه ميضأة فقال أما المحراب فإني رأيت النبي وقد خطه لي فأصبحت فرأيت النمل قد أطافت بالمكان الذي خطه لي
وأما العمد فإني بنيته من مال حلال وهو الكنز الذي وجدته فما كنت لأشوبه بغيره والعمد لا تكون إلا من مسجد أو كنيسة فنزهته عن ذلك
وأما الميضأة فأردت تطهيره من النجاسات وها أنا أبنيها خلفه ثم أمر ببنائها على القرب
ويحكى أنه كان لا يعبث بشيء قط وأنه أخذ يوما درج ورق أبيض وأخرجه ومده كالحلزون ثم استيقظ لنفسه وظن أنه فطن له فأمر بعمارة المنارة على تلك الهيئة وعلى نظير العشاري الذي على رأسها عمل العشاري على رأس قبة الإمام الشافعي رضي الله عنه
ولما فرغ من بناء الجامع رأى في منامه كأن نارا نزلت من السماء فأحرقت الجامع دون ما حوله فقص رؤياه على عابر فقال له بشراك قبوله فإن الأمم الخالية كانوا إذا قربوا قربانا فتقبل نزلت نار من السماء فأكلته كما في قصة هابيل وقابيل ورأى مرة أخرى كأن ألحق سبحانه وتعالى تجلى على ما حول الجامع فعبره له عابر بأنه يخرب ما حول الجامع ويبقى هو بدليل قوله تعالى ( فلما تجلى ربه للجبل جعله دكا ) وكان الأمر كذلك فهدمت منازل بني طولون في نكبتهم ولم يبق منها إلا الجامع