قد شهر نفسه بالزهد في ناحية، فقصداه، فرآه أبو يزيد قد خرج من بيته، ودخل المسجد وتفل في قبلة المسجد، فقال أبو يزيد لصاحبه:"هذا الرجل ليس بمأمون على أدب من أداب السنة، كيف يكون مأمونًا على ما يدَّعيه من مقامات الأولياء؟!"
وروى ان شقيقا البلخي وأبا تراب قدما عليه فقٌدّمت السفرة، وشاب يخدم أبا يزيد فقالا له:"كل معنا يا فتى!"فقال:"أنا صائم"، فقال له أبو تراب:"كل ولك اجر صوم شهر"فأبى، فقال له شقيق:"كل، ولك اجر صوم سنه"فأبى فقال أبو يزيد: دعوا من سقط من عين الله!"فاخذ ذلك الشاب في سرقه - بعد سنة - فقطعت يده".
وقال احمد بن خضريه:"رأيت ربك العزة في المنام، فقال: يا أحمد؟ كل الناس يطلبون مني، إلا أبا يزيد فانه يطلبني".
ومن شعره:
غرست الحب غرسًا في فؤادي ... فلا أسلو إلى يوم التنادي
جربت القلب مني بالاتصال ... فشوقي زائد، والحب بادي