وكان سبب هدم خالد منار المساجد حتى حطها عن دور الناس أنه بلغه شعر لرجل من الموالي، موالي الأنصار، وهو:
ليتني في المؤذنين حياتي ... إنهم يبصرون من في السطوح
فيشيرون أو تشير إليهم ... بالهوى كل ذات دل مليح
فحطها عن دور الناس. ويروى عنه فيما روي من عتوه أنه استعفي من بيعة بناها لأمه. فقال لملأ من المسلمين: قبح الله دينهم، إن كان شرًا من دينكم!.