لما آلت الخلافة ليزيد بن معاوية رفض ابن الزبير رضي الله عنه أن يبايع له، واعتصم بمكة المكرمة، ولما مات يزيد بايع كثير من الأنصار عبد الله بن الزبير بالخلافة، واتخذ مكة المكرمة عاصمة له.
بينه وبين الحجاج:
وفي عهد عبد الملك بن مروان جهز جيشا بقيادة الحجاج بن يوسف الثقفي لحرب ابن الزبير والقضاء عليه، وحاصر الحجاج مكة المكرمة حوالي ستة أشهر وضرب الكعبة بالمنجنيق، واستسلم كثير من أتباع ابن الزبير تحت وطأة الحر والجوع، كل ذلك وابن الزبير صامد كالطود الراسخ لا يلين ولا يتزعزع.
بين عبد الله وأمه رضي الله عنهما:
ولما أحس بتدهور الموقف ذهب إلى أمه العظيمة أسماء بنت أبي بكر رضي الله عنهما يعرض عليها الأمر ويستشيرها:
فقالت له: (يا بني، أنت أعلم بنفسك، إن كنت تعلم أنك على حق وتدعو إلى حق، فاصبر عليه حتى تموت في سبيله، ولا تمكن رقبتك من غلمان بني أمة. وإن كنت تعلم أنك أردت الدنيا، فلبئس العبد أنت، أهلكت نفسك، وأهلكت من قتل معك) .
قال عبد الله: والله يا أماه ما أردت الدنيا ولا ركبت لها، وما جرت في حكم الله أبدا، ولا ظلمت ولا غدرت.
قالت أمه: (إني لأرجو الله أن يكون عزائي فيك حسنا، إن سبقتني إلى الله أو سبقتك إليه. اللهم ارحم طول قيامه في الليل، وظمأه في الهواجر، وبره بأبيه وبي، اللهم إني أسلمته لأمرك فيه، ورضيت بما قضيت، فأثبني في عبد الله ثواب الصابرين الشاكرين) وعانقت ولدها وودعته الوداع الأخير.
وقاتل عبد الله قتالا مريرا في معركة غير متكافئة، ورفض في إباء وشمم أن يستسلم حتى سقط. وجاء الحجاج ليشفي نفسه من عبد الله، فصلبه.