ولكنه بقي في نفس الإمام عليه من الكره والحقد والألم مالا تستطيع السنون محوه، ولهذا فإنه ما كاد الخلاف بين صاحب الترجمة وبين بعض علماء معمرة المتعصبين لمذهبهم الزيدي الهادوي يستطير لإعلانه وجوب التمسك بالعمل بالكتاب وصحيح السنة كالأذان بالتربيع وحذف (حي على خير العمل) والرفع والضم والتأمين في الصلاة حتى تصدى له حسين بن محمد الشرفي ومنعه من الأذان في المسجد فكان يؤذن من سطح داره أذان أهل السنة، وكان إذا قال في الصلاة آمين ومد بها صوته عارضه حسين الشرفي بقوله: (طاعون!) مما حمله بعد أن لاقى من المتاعب في سبيل نشر السنة ما لاقى أن وصف «شرح الأزهار» -كما أخبرني أخوه القاضي لطف بن محمد ابن لطف بن محمد شاكر- بأنه طاغوت الزيدية، وذلك لما يوجد فيه من مسائل مخالفة لنصوص الكتاب والسنة، فقد يذكر في المسائل الخلافية الأدلة من الكتاب أو من السنة أو كليهما فإذا لم يأخذ المذهب بها فإن أتباعه يقولون: والمذهب بخلافه، أي أن الواجب العمل بالمذهب وليس بالأدلة النقلية.

هذا وقد اغتنم الإمام يحيى فرصة الخلاف بينه وبين بعض العلماء المقلدين الذين يقال: إنه هو الذي أذكى أواره، فأرسل جنودا من عنده من صنعاء إلى معمرة لإحضاره إليه وحضر في الوقت نفسه مناوؤه ليقيموا عليه دعاويهم فلما مثلوا بين يدي الإمام خاطبه الإمام بقوله: ما الذين بينك وبين هؤلاء العلماء؟ فأجاب عليه بأنه ليس بينه وبينهم إلا ما يقع عادة بين العلماء، ولا يريد لهم إلا الخير، ثم قال للإمام: ولكنك غريم الخاص والعام والغني والفقير لأنك ترسل جنودك على الناس من أجل نفر (42) ذرة من زكاة الفطر إذا تأخر تسليمها إليك أو إلى عمالك، مع أن الله أمر على لسان رسوله أن تدفع تلك الزكاة إلى الفقراء قبل صلاة عيد الفطر طهورا للصائم.