مات بدائه ثم أقبل عبد الملك يذم الدنيا فقال: إن طويلك لقصير، وإن كثيرك لقليل، وان كنا منك لفي غرور، ثم اقبل على جميع ولده فقال: أوصيكم بتقوى الله فإنها عصمة باقية، وجُنة واقية، فالتقوى خير زاد، وأفضل في المعاد، وهي احصن كهف، وليعطف الكبير منكم على الصغير، وليعرف الصغير حق الكبير مع سلامة الصدور، والأخذ بجميل الأمور، وإياكم والبغي والتحاسد، فيهما هلك الملوك الماضون، وذوو العز المكين، يا بنيّ أخوكم مسلمة نابكم الذي تفترون عنه، ومجنكم الذي تستجنون به، اصدُروا عن رأيه، وأكرموا الحجاج فإنه الذي وطأ لكم هذا الأمر، وكونوا أولادا ابرارًا، وفي الحروب احرارًا، وللمعروف منارًا، وعليكم السلام.
وسأله بعض شيوخ بني أمية- وقد فرغ من وصية اولاده هذه- قال: كيف تجدك يا أمير المؤمنين: قال: كما قال الله عز وجل: (و لقد جئتمونا فرَادى كما خلقناكم أول مرة، وتركتم ما خلوناكم وراء ظهوركم) الى قوله (و ما كنتم تزعمون) فكان هذا آخر كلام سمع منه.
فلما قضى سجّاه الوليد، ثم صعد المنبر فحمد الله واثنى عليه، ثم قال: لم أر مثلها مصيبة، ولا مثلها نعمة، فقدت الخليفة، وتقلدت الخلافة، فإنا للَّه وإنا إليه راجعون على المصيبة، والحمد للَّه رب العالمين على النعمة، ثم دعا الناس الى بيعته فبايعوا، ولم يختلف عليه أحد.
ومات في أيام الوليد عبيد الله بن العباس بن عبد المطلب، وذلك في سنة سبع وثمانين، وكان جوادًا كريمًا، وذكر أن سائلًا وقف عليه فقال له: تصدق مما رزقك الله، فإني نبئت ان عبيد الله بن العباس أعطى سائلا ألف درهم واعتذر اليه، فقال: وأين أنا من عبيد الله؟ قال له: وأين أنت منه في الحسب أم في كثرة المال؟ قال: فيهما