أقام أبو ذر في باديته حتى مضت بدرٌ وأحدٌ والخندقُ، ثم قدم إلى المدينة، وانقطع إلى رسول الله صلى الله عليه وسلم، واستأذنه أن يقوم في خدمته، فأذن له، ونَعِمَ بصحبته، وسَعِدَ بخدمته، وظلَّ رسول الله صلى الله عليه وسلم يؤثره ويكرمه، فما لقيه مرةً إلا صافحة، وهشَّ في وجهه وبشَّ.

لما لحق النبي صلى الله عليه وسلم بالرفيق الأعلى لم يُطِق أبو ذر صبرًا على الإقامة في المدينة، بعد أن خلت من سيدها، وأقفرت من هدي مجلسه، فرحل إلى بادية الشام، وأقام فيها مدة خلافة الصديق والفاروق رضي الله عنهم جميعا.

وفي خلافة عثمان نزل في دمشق، فرأى من إقبال المسلمين على الدنيا وانغماسهم في الترف ما أذهله، ودفعه إلى استنكار ذلك، فاستدعاه عثمان إلى المدينة، فقدم إليها، لكن ما لبث أن ضاق برغبة الناس في الدنيا، وضاق الناس بشدته عليهم، وتنديده بهم، فأمره عثمان بالانتقال إلى الربذة، وهي قرية صغيرة من قرى المدينة، فرحل إليها، وأقام فيها بعيدًا عن الناس، زاهدًا بما في أيديهم من عرض الدنيا، مستمسكًا بما كان عليه النبي صلى الله عليه وسلم وصاحباه من إيثار الباقية على الفانية )) .

دخل عليه رجلٌ ذات مرة، فجعل يقلب الطرف في بيته، فلم يجد فيه متاعًا، فقال: (( يا أبا ذر, أين متاعكم؟ فقال: لنا بيت هناك، نرسل إليه صالح متاعنا، ففهم الرجل مراده، -أنّه يعني الدار الآخرة- وقال: ولكن لا بد لك من متاع ما دمت في هذه الدار، فأجاب: ولكن صاحب المنزل لا يدعنا فيه ) ).

بعث إليه أمير الشام بثلاثمئة دينار، وقال له: (( استعن بها على قضاء حاجتك، فردها إليه، وقال: أما وجد أمير الشام عبدًا لله أهون عليه مني ) ).