كما انصرف العظم إلى تأسيس الجمعيات السياسية، فأنشأ مع صحبه (جمعية الشورى العثمانية) الحرة، وفيها كبار الشخصيات من عرب وأتراك وجركس وأرمن، وكانت لها صحيفتها يحرر القسم العربي فيها. وكانت هذه الجمعية قبل ذلك تطبع المنشورات وتذيع البيانات في الوطن العربي وفي غيره. وتنبهت الجمعية (الاتحاد والترقي) إلى خطر هذه الجمعية وأثرها، فسعت إلى التقرب منها والاعتماد عليها في مقاومة الظلم والطغيان ولكن الشعار كان يختلف في كل منهما، والأهداف تباعد بينهما ... فجماعة الاتحاد والترقي كانوا يعتمدون على العنصرية التركية في رفع الجنس الطوراني، أما جماعة الشورى فكانوا يريدون الحرية للشعوب.
لذا سعى رفيق العظم مع صديقه الشيخ رشيد رضا في تكوين جمعية عربية سرية، هدفها التأليف بين أمراء الجزيرة العربية، والسعي في جمع شمل العرب لحفظ حقوق العرب في الدولة العثمانية، والعمل لمستقبل يعيد إليهم أمجادهم وتاريخهم. وقد ساق إلى تأليف هذه الجمعية ما ظهر من ضعف الدولة العثمانية بعد انكسارها في حرب البلقان، وبدا خطر وقوعها في براثن الغربيين، فنهض العظم مع زملائه من الساسة في تأسيس حزب اللامركزية، لئلا يصيب الأقطار العربية خطر الانهيار الذي يقع على العاصمة، وليصبح كل قطر في منجى من السقوط فريسة للأوربيين.
وظل رفيق العظم يعمل في الأحزاب وفي السياسة لخير قومه وأمته وبلاده حتى ساءت صحته، فلما قامت الثورة العربية وتسلمت الحكومة الفيصلية مقاليد البلاد، عاد العظم إلى دمشق زائراً فاستقبلته البلاد خير استقبال، وعرضت عليه أن يتقلد بعض الرئاسات الكبرى، فاعتذر لسوء صحته، ولزهده في المناصب، وعاد إلى القاهرة ولازم داره.