ويسرد الإمام الذهبي فِي سيره قصة سُفْيَان الثَّوْرِيّ مَعَ الإمام الصادق التي يرويها سُفْيَان فيقول: دخلت عَلَى جَعْفَر بن مُحَمَّد ،وعليه جبة خز دكناء وكساء خز أيدجاني فجعلت أنظر إليه تعجبا ؟ فَقَالَ: مَالِك يا ثوري ؟ قلت: يا ابن رسول الله، ليس هَذَا من لباسك، ولا لباس آبائك، فَقَالَ: كَانَ ذاك زمانا مقترا، وكانوا يعملون عَلَى قدر إقتاره وإفقاره، وهذا زمان قَدْ أسبل كل شئ فيه عزاليه .ثم حسر عن ردن جبته، فإِذَا فيها جبة صوف بيضاء يقصر الذيل، عن الذيل، وقَالَ: لبسنا هَذَا لله، وهذا لكم، فما كَانَ لله أخفيناه، وما كَانَ لكم أبدنياه.
وقيل: كَانَ جَعْفَر يقول: كيف أعتذر ،وقد احتججت، وكيف أحتج ،وقد علمت ؟ روى يَحْيَى بن أبي بكير، عن هياج بن بسطام قَالَ كَانَ جَعْفَر بن مُحَمَّد يطعم حَتَّى لَا يبقى لعياله شئ.
عن بعض أصحاب جَعْفَر بن مُحَمَّد ، عن جَعْفَر، وسئل: لم حرم الله الربا ؟ قَالَ: لئلا يتمانع الناس المعروف.
وعن هشام بن عباد، سمعت جَعْفَر بن مُحَمَّد يقول: الفقهاء أمناء الرسل، فإِذَا رأيتم الفقهاء قَدْ ركنوا إِلَى السلاطين، فاتهموهم.