عمد المصنف إلى قسم الأقوال من كتابه «الجامع الكبير» ، وانتفى من هذا القسم أصح ما فيه من أحاديث، ثم أضاف إلى ذلك الزيادات، وسمى هذا المصنف الجديد «الجامع الصغير» منتهجًا منهج الاختصار فاقتصر على الأحاديث الوجيزة، وبالغ في تحرير التخريج، وصانه عما تفرد به وضَّاع أو كذاب، ففاق بذلك الكتب المؤلفة في هذا النوع.
الكتاب مرتب على حروف الهجاء كـ «الجامع الكبير» إلا أن الترتيب في «الصغير» أجود من الترتيب في «الكبير» .
• كل حرف من الحروف ينقسم إلى قسمين: قسم للمجرد من (أل) ، وقسم للمحلى ب (أل) ، وهذا على خلاف ترتيب قسم الأقوال في «الجامع الكبير» ، ولعلَّ الذي دفعه إلى ذلك هو إضافته لبعض أحاديث الأفعال في هذا الكتاب.