وكان أبوه قد طلق أمه وهي حامل به، فرأت في المنام أنه خرج منها قمر من قبلها، فقصت رؤياها على أمها، فقال: (( إن صدقت رؤياك ليكون من يبايع له بالخلافة ) ).
وجلست أمه يومًا تمشطه وهو صبي صغير، وأبوه معاوية مع زوجته الحظية عنده في المنظرة وهي فاختة بنت قرظة، فلما فرغت من تمشيطه نظرت أمه إليه فأعجبها، فقبلت بين عينيه، فقال معاوية عند ذلك:
إذا مات لم تفلح مزينة بعده ... فنوطى عليه يا مزين التمايما
وانطلق يزيد يمشي وفاختة تتبعه بصرها، ثم قالت: لعن الله سواد ساقي أمك، فقال معاوية: أما والله إنه لخير من ابنك عبد الله. وهو ولده منها وكان أحمق. فقالت فاختة: لا والله ولكنك تؤثر هذا عليه،