على جزء كبير من روما وفيه كنيسة القديس بطرس، وفر جريجوري إلى كاستلوسانتا أنجيلو Caslello Sant Angelo. واجتمع مجمع مقدس في قصر لاتران بدعوة من هنري، وخلع جريجوري وحرمه، ونادى باسم بجيبير بابا باسم كلمنت الثالث (24 مارس سنة 1084) ، وبعد أسبوع من ذلك الوقت توج كلمنت هنري إمبراطورًا، وظل هنري سيد روما عامًا كاملًا.
غير أن ربرت جسكارد عاد من حروبه مع بيزنطية في عام 1085، واقترب من روما على رأس جيش مؤلف من 36. 000 رجل، ولم يكن عند هنري جيش يستطيع به ملاقاة هذه القوة، ففر إلى ألمانيا، ودخل ربرت العاصمة، وحرر جريجوري، ونهب روما، وخرب نصفها، وأخذ معه جريجوري إلى مونتي كسينو. واشتد غضب العامة في روما على النورمان غضبًا لم يستطع معه البابا حليفهم أن يأمن على نفسه في ذلك المكان. وعاد كلمنت إلى روما متظاهرًا بأنه البابا، وذهب جريجوري إلى سالرنو، وعقد فيها مجمعًا مقدسًا آخر، وحرم هنري مرة أخرى، ثم خارت قواه الجسمية والروحية وقال:"لقد كنت أحب العدالة وأمقت الظلم، ولهذا فإني أموت منفيًا". ولم يكن قد تجاوز الثانية والستين من عمره، ولكن النزاع المرير الذي خاض غماره قد حطم أعصابه وهد قواه، ولم تترك له هزيمته الظاهرة على يد الرجل الذي عفا عنه في كانوسا رغبة في الحياة. ومات جريجوري في سالرنو في الخامس والعشرين من مايو عام 1085.
وبعد فلعله كان متغطرسًا فوق ما يجب في حبه العدالة، ومتحمسًا فوق ما يجب في كرهه للظلم؛ وليس من حق الرجل العملي أن يرى ما في مركز عدوه من عدالة، بل إن ذلك من حق الفيلسوف وحده؛ ولقد استطاع إنوسنت الثالث بعد مائة عام من ذلك الوقت أن يحقق جانبًا كبيرًا من حلم جريجوري، وهو جمع العالم تحت لواء خليفة المسيح، ولكنه حققه بروح أكثر اعتدالًا من روح جريجوري وبوسائل دبلوماسية أكثر من وسائله حكمة. ومع هذا فإن