بعد ذلك بقي الشيخ في السجن مدة قضى بعضها مع رافضة وكان معهم آية أو سيد وكان الشيخ يوسف يناقشهم ويناظرهم حتى حذر آيتهم بقية الرافضة أي أنها هي توجيه رسائل، ويلزم مراعاة الظروف والإمكانيات لدى التنظيم لهذه الأهداف واختيارها.
منه ومن مجالسته يقول الشيخ يوسف:"كنت أتظاهر بالنوم فيبدأ آيتهم بالحديث وإلقاء الدرس عليهم فاستمع له حتى أجد الفرصة مناسبة وأقوم وأرد عليه .. وقد انزعجوا منه كثيرًا لأنه كان صاحب حجةٍ قويةٍ وبيانٍ ثم بعد ذلك انتقل الشيخ يوسف إلى سجن جماعي مع أهل السنة وبعد مضي وقت على هذه الحال أضرب الشيخ عن الطعام بسبب أنه يريد سجنًا انفراديًا حتى يتمكن من استغلال وقته ويخلو بربه، فلبي له طلبه ومكث في السجن الانفرادي سنة ونصف أو أكثر وبعدها أفرج عنه .."
يقول لي الشيخ يوسف: لما سألته عن السجن الانفرادي وهل أصابه الملل؟
قال لي بالحرف الواحد: كنت والله لا أجد وقتًا أبدًا حتى أنني لا أغتسل إلا للجنابة ولا أنام إلا قليلًا وكنت أسابق الوقت .. !!
وكان وقته في السجن الانفرادي حفظ وقراءة للكتب العلمية، فحفظ القرآن وضبطه وحفظ الصحيحين وانكب على القراءة والمطالعة في كتب أهل العلم، وفي يوم من الأيام قال له الجندي السجان: إنني والله أرأف بحالك وما أنت عليه .. ؟!
فقال له الشيخ يوسف: أنا والله الذي أرأف لحالك ولتعلم أنه لو قيل لي سيكون اليوم ثمانية وعشرين ساعة فأنا موافق لأنني أبحث عن وقت يا مسكين .. !!
وذلك أن الجندي استغرب من حال الشيخ في القراءة والإطلاع حيث لم يكن يخرج للتشميس ولا غيره إلا للضرورة حرصًا على الاستفادة بشكل كبير من الوقت .. وكان يقول لي رحمه الله (والله لقد كنت أعيش لحظاتٍ إيمانيةً ولذةً في السجن لا يعلمها إلا الله ولما جاءني البشير بخروجي من السجن صرخت في وجهه من غير شعور: الله لا يبشرك بالخير!! وكان ذلك عن غير إرادتي وإنما لشدة ما أجده من النعيم في السجن والفائدة العظيمة في طلب العلم التي حصلتها في السجن) .
ولما خرج الشيخ يوسف من السجن واصل علاقته بالجهاد والمجاهدين وبخاصة شيخ المجاهدين أسامة بن لادن حفظه الله.