معاشرته له في حياته ولهم من بعد وفاته في اقتسام مواريثه قالوا إنما ذلك بينهما في الظاهر فأما في الباطن فكانا متراضيين متصافيين لا خلاف بينهما ولم يزل جعفر مطيعا له سامعا منه فإذا ظهر منه شيء من خلافه فعن أمر الحسن فجعفر وصي الحسن وعنه أفضت إليه الإمامة ورجعوا إلى بعض قول الفطحية وزعموا أن موسى بن جعفر إنما كان إماما بوصية أخيه عبد الله إليه وعن عبد الله صارت إليه الإمامة لا عن أبيه وأقروا بإمامة عبد الله بن جعفر وثبتوها بعد إنكارهم لها وجحودهم إياها وأوجبوا فرضها على أنفسهم ليصححوا بذلك مذهبهم وكان رئيسهم والداعي لهم إلى ذلك رجل من أهل الكوفة من المتكلمين يقال له علي بن الطاحي الخزاز وكان مشهورا في الفطيحة وهو ممن قوى إمامة جعفر وأمال الناس إليه وكان متكلما محجاجا وأعانته على ذلك أخت الفارس بن حاتم بن ما هويه القزويني غير أن هذه أنكرت إمامة الحسن بن علي