لم يرض كلمنت فاعتزم أن يخلع التربيون المعاند، وأصدر في الثالث من ديسمبر مرسومًا بابويًا يضم فيه كولا بالإجرام والإلحاد، ويهيب بالرومان أن يطردوه من البلاد. وأشار المندوب إلى أنهم إن لم يفعلوا هذا لن يقام عيد. وكان الأعيان في هذه الأثناء قد حشدوا جيشًا آخر، زحف على روما. وأمر ريندسو أن تدق الأجراس تدعو الشعب إلى حمل السلاح، لكن هذه الدعوة لم يستجب لها إلا عدد قليل، لأن كثيرين قد أغضبهم فدح الضرائب التي فرضها عليهم، ومنهم من فضل ما ينالونه من المكاسب في العيد عما تلقيه عليهم الحرية من تبعات. ولما اقتربت قوى الأشراف من الكبتول خارت قوى ريندسو، وخلع شارة منصبه، وودع أصدقاءه، وأجهش بالبكاء، وحبس نفسه في كاستلو سانتا أنجليو Castello Sant' Angelo (15 ديسمبر سنة 1347) ، وعاد الأشراف الظافرون فدخلوا قصورهم في المدينة واختار المندوب البابوي اثنين منهم ليحكما روما.
وفر ريندسو إلى نابلي، وكان لا يزال مغضوبًا عليه من الكنيسة وإن لم يصب بأذى من جانب الأعيان، ثم فر من نابلي إلى غابات الجبال في أبردسي Abruzzi القريبة من سلمونا Sulmona، وهناك لبس أثواب التائبين، وقضى عامين يعيش عيشة الزهاد المنقطعين للدين. وبعد أن مرت به عشرات المئات من المشاق والمحن اتخذ سبيله سرًا متنكرًا إلى براج مجتازا إيطاليا وجبال الألب والنمسا، ومثل في تلك المدينة في حضرة الإمبراطور شارل الرابع، وأخذ وهو غاضب يندد بالبابوات، ولكنه أبى أن يجيب البابا كلمنت إلى مطلبه من إرسال كولا ليزج في سجن أفنيون، وأبقاه معتقلا تحت الحراسة في إحدى القلاع القائمة على نهر الألب. وقضى كولا في العزلة