رأسه عمامة، فأخذها، وجعل يلفها على رأسه، وقاسم يدير له رأسه حتى أخذها، ولم يكلمه القاسم، ولا أحد من أصحابه، ولم يقطع كلامه.
قال عبد الرحمن بن أبي حاتم: دخلت دمشق على كتبة الحديث، فمررت بحلقة قاسم الجوعي، فرأيت نفرًا جلوسًاحوله، وهو يتكلم عليهم، فهالني منظرهم، فتقدمت إليهم، فسمعته يقول: اغتنموا من أهل زمانكم خمسًا، منها: إن حضرتم لم تعرفوا، وإن غبتم لم تفقدوا، وإن شهدتم لم تشاوروا، وإن قلتم شيئًا لم يقبل قولكم، وإن عملتم شيئًا لم تعطوا به. وأوصيكم بخمس أيضًا: إن ظلمتم لم تظلموا، وإن مدحتم لم تفرحوا، وإن ذممتم لم تجزعو، وإن كذبتم فلا تغضبوا، وإن خانوكم فلا تخونوا. قال: فجعلت هذا فائدتي من دمشق.
قدم يحيى بن أكثم مع المأمون إلى دمشق سنة ست عشرة ومائتين، فبعث إلى أحمد بن أبي الحواري، فسمع منه، وجالسه، واستعذبه، وخلع عليه ثيابًا سرية، وقلنسوةً وشيئًا من قلانسه طويلة، ودفع إليه خمسة آلاف درهم، وقال: يا أبا الحسن، فرق هذه حيث ترى. فدخل بها المسجد، وصلى صلوات بالقلنسوة، وأقامت عليها أيامًا، فقال بعض جلساء قاسم لقاسم: يا معلم، هذا أحمد بن أبي الحواري، أخذ دراهمه، ولبس قلنسوته. فالتفت قاسم، فنظر إليه، فقال: أخذ دراهم اللصوص، ولبس قلانس اللصوص! وكان قاسم إذا راح إلى المسجد في وقت الزوال يدخل من باب الفراديس، ويأخذ في الأسطوان الغربي حتى يصير إلى المصعد، ثم يأخذ قبلةً حتى يدخل من أقصى الأبواب إلى مجلسه. فلما كان من الغد، من يوم نظره إلى أحمد، دخل من باب الفراديس حتى وافى باب القبة، ثم مر حتى مر بأحمد وهو جالس يتشهد في ركوعه، والقلنسوة على رأسه، فلما حاذى به رفع يده فلطم القلنسوة، فالتفت أحمد بن أبي الحواري، فنظر إليه فسلم، ثم التفت إلى ابنه إبراهيم، فقال: يا إبراهيم، خذ القلنسوة، وامض بها إلى البيت. فقال له من رآه: يا أبا الحسن، ما رأيت ما فعل بك هذا الرجل؟! فقال: رحمه الله!