نشأ جعفر في داصر الهجرة النبوية الشريفة، معتزًّا بنسبه؛ فجده لأبيه هو الإمام على بن أبي طالب -رضي الله عنه- وجده لأمه صديق رسول الله -صلى الله عليه وسلم- وهو الخليفة (أبو بكر الصديق) .
استمع جعفر لنصائح والده الذي أخذ يقول له: (إياك والكسل والضجر، فإنهما مفتاح كل شر، إنك إن كسلتَ لم تؤدِّ حقًّا، وإن ضجرتَ لم تصبر على حق، إن طلب العلم من أداء الفرائض خير من الزهد) واستجاب جعفر لنصائح والده، فحفظ القرآن الكريم وأحاديث رسول الله -صلى الله عليه وسلم- وفهمهما فهمًا جيدًا، فلما بلغ جعفر مبلغ الشباب، ورأى آل بيت النبي -صلى الله عليه وسلم- وخلافهم مع الدولة الأموية، وشاهد عمه زيدًا قتيلا؛ بكى وحزن عليه حزنًا شديدًا، ورأى أن خير ما يقاوم به هذا الظلم هو كلمة الحق التي تنير طريق الناس وتحركهم للدفاع عن المظلومين.
فقد تعلم من سنة رسول الله -صلى الله عليه وسلم- أن طلب العلم ونشره جهاد في سبيل الله، بل إنه فريضة على كل مسلم ومسلمة، وأن الله تعالى جعل للعلماء مكانة بين الأنبياء والشهداء؛ فاهتم جعفر بعلوم الطبيعة والكيمياء والفلك والطب والنبات والأدوية إلى جانب دراسته للقرآن والحديث والفقه، وظل جعفر يدرس ويقرأ في كل العلوم؛ حتى أشرفت دولة بني أمية على الزوال؛ فأرسل إليه المؤيدون لآل بيت رسول الله -صلى الله عليه وسلم- أن ينتهز الفرصة، ويأتي على الفور ليتولى خلافة المسلمين، ولكنه لم يشعر بقبول تجاه هذه الرسالة؛ فأحرقها!!
لقد كان يشعر أنه بعلمه أقوى من أي ملك على وجه الأرض، ومضى الإمام جعفر الصادق يتعلم العلم ويعلمه الناس في تواضع فريد، يسأله الناس فيجيب دون كبر أو خيلاء، سأله أحد الناس: لقد قال الله تعالى: {ادعوني أستجب لكم} [غافر: 60] فما بالنا ندعوه فلا يجيب؟! فقال الإمام جعفر الصادق: لأنك تدعو من لا تعرف.