ذكر أن الفضيل بن عياض كان شاطرًا في قطع الطريق. وكان يتعشق جارية، فبينما هو ذات ليلة يتسور عليها جدارًا، إذ سمع قارئًا يقرأ: {أَلَمْ يَانِ لِلَّذِينَ آَمَنُوا أَنْ تَخْشَعَ قُلُوبُهُمْ لِذِكْرِ اللَّهِ} ، فقال: بلى، فتاب، وأقلع عما كان عليه، ورجع إلى خربة، فبات بها، فسمع سفارًا يقول: خذوا حذركم؛ إن فضيلًا أمامكم يقطع الطريق، فأمنهم واستمر على توبته، حتى كان منه ما كان من السيادة والعبادة والزهادة، ثم صار علمًا يقتدى به، ويهتدى بكلامه وفعاله.
قال إبراهيم بن بشار: قلت لإبراهيم بن أدهم: كيف كان بدء أمرك؟ قال: غير ذا أولى بك، قال: قلت: أخبرني لعل الله أن ينفعنا به يومًا، قال: كان أبي من الملوك المياسير، وحبب إلينا الصيد، فركبت يومًا، فثار أرنب أو ثعلب، فحركت فرسي، فسمعت نداءً من ورائي، ليس لذا خلقت، ولا بذا أمرت، فوقفت أنظر يمنة ويسرة، فلم أر أحدًا. فقلت: لعن الله إبليس، ثم حركت فرسي، فأسمع نداء أجهر من ذلك: يا إبراهيم ليس لذا خلقت، ولا بذا أمرت، فوقفت أنظر فلا أرى أحدًا، فقلت: لعن الله إبليس، فأسمع نداء من قربوس (حنو الفرس) سرجي بذاك، فقلت: أنبهت، أنبهت، جاءني نذير، والله لا عصيت الله بعد يومي ما عصمني الله، فرجعت إلى أهلي، فخليت فرسي، ثم جئت إلى رعاة لأبي، فأخذت جبة كساء، وألقيت ثيابي إليه، ثم أقبلت إلى العراق، فعملت بها أيامًا، فلم يصف لي منها الحلال، فقيل لي: عليك بالشام.