وشرع عمر في إجراء الإصلاحات اللازمة. فعزل الولاة الذين لايرضى بهم صالحو الأمة، وعين مكانهم رجالًا يشبهونه في العدل والنزاهة والاستقامة؛ وكسب ود الشيعة، عندما أبطل سب علي رضي الله عنه على المنابر، وتوقف عن ملاحقتهم. ورفع الجزية عمن أسلم من أهل الذمة. وأمر برد الحقوق إلى أهلها، ونزع عن نفسه وأهل بيته كل مظاهر الترف، إلى الحد الذي أقنع فيه زوجته بدفع حليها إلى بيت المال، وألغى جميع الضرائب المبتدعة، وأمر ولاته بأخذ رأيه في تنفيذ الحدود. وأدت هذه السياسة إلى كثرة الداخلين في الإسلام لاسيما ملوك السند الهنود والبربر. قيل إنه مات مسمومًا بدير سمعان من أرض المعرَّة. وكان يدعى أشج بني أمية؛ لأن دابة رمته وهو غلام، فشجته في وجهه.
انظر أيضًا: عمر بن الخطاب؛ عبد الملك بن مروان؛ سليمان بن عبد الملك؛ الأموية، الدولة.