انتمى للتيار القومي العربي عام 56، وشارك في الانقلاب الذي أنهى النظام الملكي في العراق، وأعلن النظام الجمهوري وقاده عبد الكريم قاسم وعبد السلام عارف في الرابع عشر من يوليو /تموز عام 58.

أصبح بعد ذلك من المعادين لحكم عبد الكريم قاسم وشارك في محاولة الانقلاب التي قام بها العقيد عبد الوهاب الشواف ضد عبد الكريم قاسم في مارس عام 59، وقبض عليه، وقضى أكثر من ثلاثة أشهر في السجن، ثم أفرج عنه وأعاده عبد الكريم قاسم مرة أخرى إلى القوات الجوية، غير أنه سعى مع الكثيرين للتخلص من قاسم بعد ذلك، حتى نجح البعثيون في انقلابهم عليه بمشاركة القوميين في الثامن من فبراير عام 63. عين عارف بعد ذلك قائدًا للقوات الجوية العراقية، غير أنه سرعان ما قدم استقالته بعد عشرين يوميًا بسبب الفوضى والصراعات بين الضباط الانقلابيين، لاسيما القوميين منهم والبعثيين.

عين في حكومة طاهر يحيى وزيرًا للزراعة من العشرين من نوفمبر عام 63 إلى الخامس عشر من ديسمبر من نفس العام حيث أعيد قائدًا للقوات الجوية، وبقي في مصبه إلى الرابع من سبتمبر عام 65حيث عينه عبد السلام عارف رئيسًا لوزراء العراق ووزيرًا للدفاع حتى يحول بينه وبين محاولات انقلابية كان يسعى للقيام بها ضد عبد السلام عارف، غير أن ذلك لم يمنعه من السعي مباشرة لتنفيذ محاولاته الانقلابية بعد تعيينه رئيسًا للوزراء ووزيرًا للدفاع.

وفور سفر عبد السلام عارف إلى المغرب قام عارف عبد الرزاق بمحاولته الانقلابية التي كان مطمئنًا إلى نجاحها بنسبة 100% باعتباره رئيسًا للوزراء ووزيرًا للدفاع في نفس الوقت، إلا أن محاولته فشلت، وفر بطائرة إلى مصر في الرابع عشر من سبتمبر عام 65.