فأخذ هذا الخليفة يفزع إلى علمه في المعضلات، ويعوِّل على رأيه في الملمَّات، ويبعثه سفيرًا بينه وبين الملوك، فقد أرسله مرةً في مهمةٍ إلى جستنيان ملك الروم، فلما وفد عليه، واستمع إليه, أُخذ بذكائه، ودهش من دهائه، وأُعجِب بسعة اطلاعه، وقوة بيانه، فاستبقاه عنده أيامًا كثيرة على غير عادته مع السفراء، فلما ألحَّ عليه بأن يأذن له بالعودة إلى دمشق سأله الملك الرومي: أمن أهل بيت الملك أنت؟ قال: لا، إنما أنا رجلٌ من جملة المسلمين، فلما أذن له بالرحيل, قال له: إذا رجعت إلى صاحبك - يعني عبد الملك بن مروان - وأبلغته جميع ما يريد معرفته، فادفع إليه هذه الرُقعة، -أعطاه كتابًا مختومًا-.

فلما عاد الشعبي إلى دمشق, بادر إلى لقاء عبد الملك، وأفضى إليه بكل ما رآه وسمعه، وأجابه عن جميع ما سأل عنه، ولما نهض لينصرف, قال: يا أمير المؤمنين, إن ملك الروم حمَّلني لك هذه الرُقعة، ودفعها إليه وانصرف، فلما قرأها عبد الملك, قال لغلمانه: ردوه عليَّ، فردوه، فقال له: أعلمت ما في هذه الرقعة؟ قال: لا يا أمير المؤمنين, فقال عبد الملك: لقد كتب إليَّ ملك الروم, يقول: عجبت للعرب كيف ملَّكت عليها رجلًا غير هذا الفتى؟! فبادره الشعبي قائلًا: إنما قال هذا: لأنه لم يرك، ولو رآك يا أمير المؤمنين لما قاله, فقال عبد الملك: أفتدري لمَ كتب إلي ملك الروم هذا؟ قال له: لا، قال عبد الملك: إنما كتب إليَّ بذلك, لأنه حسدني عليك، فأراد أن يغريني بقتلك, والتخلُّص منك, فبلغ ذلك ملك الروم, فقال: لله أبوه، واللهِ ما أردت غير ذلك )) .