قلنا سابقًا: إن الرجل رحمه الله قد سُقِي السم، وقلنا: لعل بعض أهل الشر الذين ما راق لهم وجود هذا الرجل العادل في هذا المكان، وكيف كانت سيرته، وأنه ربما نغَّص عليهم وحرمهم من أشياء بسبب أنه كان لا يبعثر الأموال، ولا يرشي، ولا يرتشي، ولا يعطي من لا يستحق، فمثل هذا الرجل لا يطول به المقام، عمر بن عبد العزيز حكم سنتين، وسُقِي السم، فمات مسمومًا رحمه الله، عمر بن عبد العزيز لم يصبر عليه بنو عمه بنو أمية، كيف يفعل هذا العدل ويحرمهم من الأشياء والمزايا.
ويبدو أن الوزير رحمه الله كان له من يترصد له، وكان يتأسف على دخوله الوزارة، ويرجو السلامة، والنجاة مما دخل فيه، وأنها ندامة يوم القيامة، وكان يخشى الله تعالى، فكان يكثر التأسف على دخوله فيها، ثم صار يسأل الله الشهادة ويتعرض لأسبابها، فحصل له في الثاني عشر من جمادى الأولى سنة: (560هـ) نام ليلة الأحد في عافية، فلما كان وقت السحر قاء -حصل له قيء- فحضر طبيب، فسقاه شيئًا، فقيل: إنه سَمَّه، سقاه سُمًَّا على أنه دواء، وسُقِي الطبيب بعده بنحو ستة أشهر سُمًَّا أيضًا، فكان يقول: سُقِيْتُ كما سَقَيْتُ، فمات الطبيب أيضًا.
وحُمِلت جنازة ابن هبيرة يوم الأحد إلى جامع القصر، وصُلِّيَ عليه، ثم حُمِل إلى مدرسته التي أنشأها بباب البصرة، فدُفِن بها، وغلِّقَت يومئذٍ أسواق بغداد، وخَرَجَ جمعٌ لم ير لمخلوق قط، في الأسواق وعلى السطوح، وشاطئ دجلة، وكثر البكاء عليه لِمَا كان يفعله من البر ويظهره من العدل.
ورُثي رحمه الله بأبياتٍ كثيرة ومنها:
مات يحيى ولَمْ نَجِد بعد يحيى ملكًا ماجدًا به يُستعانُ
وإذا مات من زمانٍ كريمٌ مثل يحيى به يموت الزمانُ
وصلى الله وسلم على محمد وعلى آله وصحبه وسلم.