قال الضياء المقدسي: "كان الحافظ -رحمه الله - ليس بالأبيض الأمهق، بل يميل إلى السمرة، حسن الشعر، كث اللحية، واسع الجبين عظيم الخلق، تام القامة، كأن النور يخرج من وجهه، وكان قد ضعف بصره؛ من كثرة البكاء، والنسخ، والمطالعة".
قال الضياء: "تزوج الحافظ بخالتي رابعة ابنة خاله الشيخ أحمد بن محمد بن قدامة، فهي أم أولاده: محمد، وعبد الله، وعبد الرحمن، وفاطمة وعاشوا حتى كبروا، ثم تسرّى بجارية في مصر فلم توافقه، ثم بأخرى، فولدت له بنتين ماتتا ولم تكبرا".
"قلت: أولاده علماء: فمحمد هو: المحدث الحافظ الإمام الرحال عز الدين أبو الفتح، مات سنة ثلاث عشرة وست مئة كهلًا، وكان كبير القدر.