يقول بن خلدون:"ويزعمون أن فيه علم ذلك كله من طريق الآثار والنجوم لا يزيدون على ذلك ولا يعرفون أصل ذلك ولا مستنده . واعلم أن كتاب الجفر كان أصله أن هارون بن سعيد العجلي وهو رأس الزيدية كان له كتاب يرويه عن جعفر الصادق وفيه علم ما سيقع لأهل البيت على العموم ولبعض الأشخاص منهم على الخصوص . وقع ذلك لجعفر ونظائره من رجالاتهم على طريق الكرامة والكشف الذي يقع لمثلهم من الأولياء . وكان مكتوبًا عند جعفر في جلد ثور صغير فرواه عنه هارون العجلي، وكتبه وسماه الجفر باسم الجلد الذي كتب عليه، لأنّ الجفر في اللغة هو الصغير، وصار هذا الاسم علمًا على هذا الكتاب عندهم، وكان فيه تفسير القرآن، وما في باطنه من غرائب المعاني مروية عن جعفر الصادق . وهذا الكتاب لم تتصل روايته ولا عرف عينه، وإنّما يظهر منه شواذ من الكلمات لا يصحبها دليل . (تاريخ ابن خلدون 1/28، الفصل الثالث والخمسون في حدثان الدول والأمم) ."

والأحاديث الواردة عن أهل البيت تبين أنّ الأئمة تحدثوا عن جِفارٍ أربعة لا عن جَفْرٍ واحد. (حقيقة الجفر، للشيخ أكرم بركات، الطبعة الثانية،1420 هجرية-1999م، دار الصفوة، بيروت، لبنان) .