يفلت من قبضتهم وأن ينجو من القتل، وتوجه متخفيا إلى المغرب لاجئا إلى قبيلة (نفزة) وفيها أخواله. فلما اطمأن إلى نفسه، أخذ يكاتب من ظل من أهل الأندلس على ولائه لبني أمية، فجاءه تأييدهم لقدومه.
وفي شهر ذي الحجة من عام 138 هـ اجتاز عبد الرحمن البحر، ومعه جمع من العرب والبربر، ونزل الأندلس، وانضم إليه من كان يرقب قدومه، وتوجه إلى قرطبة فدخلها بعد أن قضى على أميرها يوسف بن عبد الرحمن الفهري، المعتمد من قبل الخليفة العباسي أبي جعفر المنصور، ومن ثم دعي عبد الرحمن بلقب (الداخل) .
تمكن عبد الرحمن من القضاء على الثورات التي أثارها المؤيدون لبني العباس، وفيهم الطامعون بالاستقلال بما في أيديهم من أقاليم ومدن، ومنهم من استنصر بشارلمان، ملك الفرنجة، فجاء بجيوشه سنة (161 هـ - 771 م) ، ولكنه لم يلبث أن عاد بعد أن فشل في حملته. ولم يصرف عبد الرحمن انشغاله بقمع تلك الثورات التي توالت طيلة حكمه عن الإدارة والعمران، فقد أنشأ جامع قرطبة الذي أصبح جامعة اجتذبت إليها مشاهير علماء المشرق.