يهدد السلام الاجتماعي بكثرة انتقاده لأوضاع ونظم الدولة، ولربما يؤدي لثورة الناس، وضعف الإيرادات بسبب فتاويه بالتحريم وغيرها .. !!

ولم يكن الوزير الطاغية بحاجة لمزيد من الشحن والتحريض ضد الإمام الطرطوشي، فأرسل إلى ابن حديد يأمره بإرسال الطرطوشي إليه، فلما جاءه الرسول الذي سيحمله إلى القاهرة قال له:"يسر حوائجك فإنك تمشي يوم كذا".. فقال الطرطوشي:"وأي حوائج معي؟ ريش الكتابة، وطعامي في حوصلتي".. مما يدل على زهده ورقة حاله، واستعداده الدائم لتقبل النوازل والمحن.

وصل الطرطوشي إلى القاهرة، وهناك أمره الوزير الأفضل بالبقاء في الفسطاط وحدد إقامته في مسجد الرصد جنوبي الفسطاط (القاهرة القديمة) ، وضيق عليه بشدة، ومنع الناس من الاتصال به والأخذ عنه، وجعل رزقه الشهري بضعة دنانير يأخذها من متحصل جزية اليهود، إمعانًا في التضييق عليه، وذلك سنة 514 هـ.

ظل الطرطوشي رهن الإقامة الجبرية في مسجد الرصد، شهورًا طويلة، لا يجرؤ أحد على زيارته أو الاجتماع معه، وقد تحول المسجد إلى معتقل كبير للإمام، حتى أن الناس قد هجروا الصلاة في المسجد؛ خوفًا من أن يتهموا بالاتصال بالشيخ، وتطاولت الأيام عليه وهو وحده في المسجد، وليس معه إلا خادمه، وكان أشد شيء على الإمام منعه من التدريس والتعليم والاجتماع مع تلاميذه وطلبته، وضاقت نفسه بشدة من هذه المحنة.

ولما طال الحبس والمنع، قرر الإمام الصالح أن يخرج من هذا