قال الشيرازي: ولى الرشيد لابن غانم قضاء أفريقية. وقيل ولاه أمير أفريقية روح بن حاتم المهلبي. أشار عليه ابن فروخ الفقيه لما امتنع هو أن يلي. وقيل أن أبا يوسف قال لروح عند خروجه إلى القيروان: أن بمدينة القيروان فتى يقال له عبد الله بن غانم، فقد فقه فوله قضاء أفريقية. وكانت ولايته في رجب سنة إحدى وسبعين ومائة، وهو ابن اثنتين وأربعين سنة في حياة مالك رحمه الله تعالى. ولما بلغت مالكًا ولايته سر بها، وأعلم بذلك أصحابه. ولما أتاه ابن أبي حسان سأل عن ذلك ابن أبي حسان فأعلمه فقال ما ذلك كثير له. وكان الرشيد يكاتبه فكان يعد قضاؤه قبله. وتشاجر أصحاب ابن غانم في ولايته فقال بعضهم: هي من المسودة (كذا) دون أمير المؤمنين.
فقال أبو عثمان المعافري: امرأته طالق ثلاثًا ومماليكه أحرار، إن كان ولاه إلا أمير المؤمنين، ثم جاء إلى ابن غانم فأخبره الخبر، فقال لا يا أبا عثمان، كم صداق امرأتك؟ فقال مائتا دينار.