قال أَبو عمر لكل ولد العباس رؤية والصحبة للفضل وعبد الله وأمه حجيلة بنت جُندَُب بن الربيع الهلالية وقيل أم ولد يقال إن أباه غضب عليه فطرده فلحق بالزبير فجاء وشفع فيه عند خاله العباس.
وقال هشام بن الكلبي والهيثم بن عَدِيّ طرده العباس إلى الشام فصار إلى الزبير بمصر فلما قدم الزبير على العباس قال له جئتني بأبي عضل ولا وصلتك رحم، ويُقال: إنه عمى بعد موت العباس.