المسلمون رجلا منهم يجعلونه عليهم أميرا و كان هناك يهودي أسمه النعمان فقال إن كنت سميت من سميت أصيبوا جميعا ثم قال لزيد أعهد أي اوصي فإنك لا ترجع إلى محمد إن كان نبيا قال زيد أشهد أنه رسول الله صادق بار وعقد صلى الله عليه وسلم لهم لواء أبيض دفعه لزيد فخرجوا وخرج مشيعا لهم حتى بلغ ثنية الوداع فوقف وودعهم ولما ودع ابن رواحة بكى ابن رواحة وقالوا له ما يبكيك فقال أما والله ما بي حب الدنيا ولاصبابة بكم ولكن سمعت رسول الله صلى الله عليه وسلم يقرأ [وإن منكم إلا واردها كان على ربك حتما مقضيا] فلم أدري كيف لي بالصدر بعد الورود ونادى المسلمون خلفهم دفع الله عنكم وردكم صالحين غانمين فقال عبد الله بن رواحة لكنني أسأل الرحمن مغفرة [وضربة ذات فرع تقذف الزبد] [وطعنة بيد حران مجهزة بحربة تنفذ الأحشاء والكبد] [حتى يقولوا إذا مروا على جدثي يا ارشد الله من غاز وقد رشدا] وروى أن النبي صلى الله عليه وسلم قال له لما أراد وداعه قل شعرا تقتضبه اقتضابا فقال

إني توسمت فيك الخير أجمعه والله يعلم أن ما خانني البصر

أنت النبي ومن يحرم شفا عته يوم الحساب فقد أزرى به القدر

فثبت الله ما أتاك من حسن تثبيت موسى ونصرا كالذي نصر