فقال له عمر: يا غيلان اقرأ أول سورة (يس) فقرأ حتى بلغ { سواء عليهم أأنذرتهم أم لم تنذرهم لا يؤمنون } [يس: 10] ، فقال غيلان: والله يا أمير المؤمنين لكأني لم أقرأها قطّ قبل اليوم، اشهد يا أمير المؤمنين أني تائب.
فقال عمر: اللهم إن كان صادقًا فتب عليه وثبّته، وإن كان كاذبًا فسلط عليه من لا يرحمه واجعله آية للمؤمنين، فأخذه هشام بن عبد الملك بعدما تولّى الحكم، فقطع يديه ورجليه وصلبه.
وكان مصلوبًا على باب دمشق وإذا سئل ما شأنك؟ قال: أصابتني دعوة الرجل الصالح عمر بن عبد العزيز (41) .
واختلف العلماء في سبب قتل هشام بن عبد الملك لغيلان، فيرى (ابن المرتضى الرافضي) أن هشامًا قتله، لأنه قد رآه ينادي على بيع ما في خزائنهم أيام ولاّه عليها عمر بن عبد العزيز وأنه يسبّ بني أمية، فأقسم ليقتلنّه إذا ولي هذا الأمر، فلما وليه نفّذ ما أقسم عليه وقتله، فيكون قتل هشام لغيلان سياسيًّا لا دينيًا (42) . وأما بقية المؤرخين فيرون أن هشامًا قتله لقوله بالقدر. وأنه أحضر له الأوزاعي فسأله في ثلاث مسائل لم يجب غيلان على واحدة منها، فأخذه هشام وأمر به فقطعت يداه ورجلاه فمات، وقيل صُلب حيّا على باب (كيسان) بدمشق.
ويذكر ابن نباته هذه المناظرة فيقول (43) : لمّا بلغ هشام بن عبد الملك مقالة غيلان في القدر (44) أرسل إليه وسأله: يا غيلان ما هذه المقالة التي بلغتني عنك في القدر؟ فقال: يا أمير المؤمنين هو ما بلغك، فأحضر من أحببت يحاجّني، فإن غلبني ضربت رقبتي.
فأحضر الأوزاعي، فقال له الأوزاعي: يا غيلان، إن شئت ألقيت سبعًا، وإن شئت خمسًا، وإن شئت ثلاثًا. فقال غيلان: ألق ثلاثًا، - أي ثلاثة أسئلة- فقال له الأوزاعي: أقضى الله على عبد ما نهى عنه؟.
قال غيلان: ما أدري ما تقول. فقال الأوزاعي: ( فأمَر الله بأمر حال دونه؟) . قال غيلان: هذه أشدّ من الأولى. فقال الأوزاعي: ( فحرّم الله حرامًا ثم أحلّه؟) . قال غيلان: ما أدري ما تقول؟