والناس يقولون له: يا يوسف تركت بيت الرخاء والسرور والنعمة والحبور ، واخترت السجن ، ولو اخترت الموت لكان خيرا لك من هذا ، وهو يقول: اخترت ما اخترا الله لى إذا كان راضيا عنى فلا أبالى ، ولما وصلوا السجن قالوا للسجان: خذ هذا الغلام واحبسه ، فإن سيدته غضبت عليه ، وأمرت أن يحبس في سجن المجرمين ، فأدخله السجان إلى السجن ، وأقعده بين أصحاب الكبائر والجنايات .
ودخل العزيز على زليخا فقال لها: ما فعلت بيوسف؟ فقال: قيدته وسجنته ، وكان مرادها أن تخرجه عن قريب ، فقال لها العزيز: أقسمت عليك بحرمة الملك ريان بن الوليد ورأسه ، ألا ما أبقيته في السجن مؤبدا ما دام الملك حيا ، فلم يمكنها إلا إبرار القسم ، وأدركها الندم فلم تجد عذرا تخرج به عن الذى فعلته ، فكانت تصعد إذا جنَّ الليل على قصرها ، وتنظر إلى السجن وتبكى وتقول: حبيبى يوسف ، ليت شعرى أنائم أنت أم يقظان؟ ليت شعرى أجائع أم شبعان؟ وتبكى الليل وتنتحب حتى ينفجر الصبح وجدا عليه ، وشوقا إلآيه ، وقد أنجحلها الغرام ، وخالطها الهيام ، وداخلها السقام ، وهجرها المنام ، ولا تسلوا بشئ إلا تذكره ، ولا تسأل إلا عن أمره .
قال وهب: مات جماعة منهن يعنى بالعشق لا بقطع الأيدى كما قد يتوهم ، وفى زهر الأكمام: مات من النسوة التى رأيته تسع نسوة شوقا إليه ، ووجدا عليه ، وروى أن زليخا أرسلت إلا السجان تشكو إليه الأشجان .
وفى عرائس القرآن: جعل الله تعالى ذلك السجن تطهيرا ليوسف من همه بها ، وكذا عن السدى .