وفي سنة 1856 كان البيمارستان المنصوري قد بلغ الغاية من الاضمحلال وهجره المرضى ولم يبق به سوى المجانين، فنقلت منه المجانين إلى ورشة الجوخ ببولاق ولم يكن بهذا المحل الاستعداد اللازم لذلك وكانوا غير معتنى بهم فأنشئ مستشفى للمجاذيب في بعض السراي الحمراء التي أنشأها الخديوي إسماعيل باشا بالعباسية ثم أحرقت وكان نقل المجاذيب من ورشة الجوخ ببولاق إلى العباسية سنة 1880م.

وقال بريس دافن الذي زار القاهرة في ذلك العصر ووصف البيمارستان في كتابه إنه قد حصلت تغييرات عديدة في أبنيته في عصور مختلفة ولا سيما قد نقلت المجانين منه إلى غيره من الأمكنة