... ويَتَوالَى انتقالُ الدكتور الرفاعي إلى ميدان آخر من أَوجُه النشاط الاقتصادي- بِتَعيينِه سنة 1952م رئيسًا لمجلس إدارة بنك الائتمان العقاري- الذي أُدمج بعد ذلك في البنك العقاري المصري، ثم تعيينه سنة 1955م نائبًا لمُحافظ البنك الأهلي فمُحافظًا له. فلما أُنشئ البنكُ المركزي بوظائفه الخطيرة، واختير الرفاعي محافظًا له حتى 1964م، وقعت الواقعة التي ما كان لها من دافع؛ إذ طُلبَ إليه اتخاذُ إجراءٍ معين في مجال النقد، وهو يُقدر بعلمه وخبرته ما لهذا الإجراء من خطر على المصلحة الاقتصادية للبلاد. فأعدَّ مذكرةً برأيه وعاد إلى منزله حيث طالَعَتهُ صُحُف الغَد بتعَيين شخصٍ آخر في مكانه. وعَرف أنه عُزل من مَنصبه، فتلقَّى هذا الجزاءَ بالصبر والإيمان على ما ابتلاهُ اللهُ في إخلاصه لعمله ووطنه، وقنع بالعمل أستاذًا غير متفرغ بكلية الحقوق جامعة القاهرة يُحاضِر طلابَ الدراسات العليا، ويُشرف على رسائلهم العلمية إلى أن أقعده المرضُ عنه.