' وكان أول من قال هذه العبارة , فأخذه الصالح إسماعيل فحبسه هو والشيخ أبا عمرو بن الحاجب المالكي الذي وافق العز على فتواه , وحاول الصالح إسماعيل إغواء العز وأرسل إليه من يتلطف إليه من أجل تقبيل يد الصالح أمام الناس حتى يعفو عنه فقال العز كلمته الشهيرة 'والله ما أرضى أن يقبل هو يدي أمام الناس , أين أنتم إنكم في واد ونحن في واد الحمد لله الذي عافاني مما أنتم فيه' ولما يأس الصالح إسماعيل منه أخرجه من دمشق فسار العز إلى الديار المصرية فأحسن إليه سلطانها الصالح أيوب وبالغ في إكرامه وجعلها خطيبًا لجماع عمرو بن العاص وأضاف إليه القضاء فلما تولى ذل قصده الناس من كل مكان للأخذ من علمه وفقهه وواصل الشيخ العز بن عبد السلام أمره بالمعروف ونهيه عن المنكر ووقعت له حادثة كانت سببًا لعزله حيث بنى أستاذ دار الصالح أيوب واسمه فخر الدين بن شيخ الشيوخ ما يسمى طلخانة وهي دار يوضع فيها طبول يضرب عليها عند خروج السلطان بنيت على سطح جامع عمرو بن العاص , فثار العز من أجل ذلك وأمر بهدم الطلخانة وأسقطة عدالة هذا الأمير وعندما علم الصالح أيوب عزله من منصبه فتفرغ الشيخ العز للعلم والتدريس والإملاء وقصده طلاب العلم من كل مكان وظل هكذا يعلم ويدرس حتى قضى أجله رحمه الله .