إذا انتخبوني فإني سأتنازل عن منصبي حالما تطلبون ذلك، وذلك أفعل ذلك بكل سهولة كما أخلع الآن قبعة الكاردينالية عن رأسي.

ولكن طالما أنه لم يغادر مكانه اضطر الكثير من الكرادلة إلى التفرق عنه تحت ضغط من غضب الشعب، وجمعوا القوات وعينوا الكاردينال"نيوكاسترو"قائدًا لها وتوجهوا إلى أفينيون إلى حيث عاد البابا وحاصروا قصره.

نجحت إحدى المحاولات المتكررة لاقتحام القصر، وجرح البابا واعتقله الكرادلة لكنه بعد مدة وجيزة تمكن من الفرار، عاد متخفيًا بلباس آخر، فخاف الكرادلة منه وقلقوا على مصيرهم، فأخذوا يعملون على خدمته ويقدمون له الطاعة والولاء، فسامحهم على فعلتهم، إلا أنه لم يعد يأمن جانبهم، وكان يهددهم في معظم الأحيان ويضغط عليهم ويوجه إليهم كثيرًا من الانتقادات ويتهمهم بالتواطؤ والعمل على التخلص منه ليأخذوا مكانه.

لم يكن البابا غريغوري الثني عشر أحسن حالًا من بينيديكت الثالث عشر، وهل يستطيع هو أيضًا الاعتماد على كرادلته ويثق بهم؟ إذ أن غريغوري كان يخشى فقدان منصبه، حتى في حال توحيد المَجْمَعَيْن الكنسيين بسبب مواقف كرادلته غير الموثوق بهم ( ولذا كان يجب أن تضم بطانته عددًا محدودًا من الكرادلة الموالين له، والذين يقدمون له الطاعة العمياء ) وهكذا فقد قام بمنح رتبة الكاردينال إلى عدد من القريبين منه.