وأشار بعض المعلقين المستقلين إلى أن رئيس الوزراء آنذاك نواز شريف اختار الجنرال مشرف قائدا للجيش، لأنه بالضبط لا ينتمي إلى طبقة الضباط البنجاب. وقالوا إن رئيس الوزراء كان يعتقد أن الخلفية الاثنية لمشرف ستجعله عاجزا عن بناء قاعدة قوة.

وكان مشرف قد شارك في الحرب الهندية الباكستانية عام 1960 ضابطا برتبة ملازم ثان في فوج المدفعية الميداني، ولاحقا في الحرب الهندية الباكستانية عام 1971 قائدا لسرية في القوات الخاصة الباكستانية

وفي وقت لاحق اعترف بأنه «بكي فعلا عندما سمع بالأنباء المقرفة، لاستسلام باكستان إلى الهند في نهاية حرب عام 1971.

وغالبا ما يوصف الجنرال، من جانب زملائه القدامي، بشخص كان يرغب على الدوام بالانتقام لهزيمة باكستان على أيدي الهنود عام 1971. وغالبا ما وجدت مشاعر الانتقام هذه سبيلها إلى تصريحاته كزعيم عسكري والخطط التي يعدها في هذا الإطار.

وفي سبتمبر 1987، كان قائدا لقوة کوماندوز خاصة تشكلت حديثا في قاعدة خابالو (كشمير) ، وشن هجوما غير ناجح للاستيلاء على مواقع بيلافون لا العسكرية الهندية في سياشين غلاسبير، في أعلى ميدان قتال في العالم بين الهند وباكستان.

وعين الميجور جنرال مشرف في يناير (كانون الثاني) 1991 قائدا لفرقة مشاة، ولاحقا رقي إلى لفتنانت جنرال. وفي أكتوبر (تشرين الأول) 1990، تولى قيادة الفيلق الهجومي في الجيش الباكستاني في شمال البلاد.

وفي عام 1998 وبعد استقالة الجنرال جيهانجير کرامات تمت ترقيته على يد نواز شريف وأصبح رئيسا لقيادة الأركان. ونجح الجنرال مشرف في قيادة انقلاب