بقى هناك من بقي من يهود أسري بابل من سبط يهوذا وبنيامين الذين ساعدهم تسامح ملوك فارس والحرية التي نالوها في عهدهم على تثبيت جذورهم وممتلكاتهم في تلك البلاد. إلا أنه بعد ما تولى يزدجرد الثاني ملك فارس(438
457 م)قوي خطر المزدكية المجوس عباد النار في بلاد فارس. وطغي في البلاد مذهبهم الذي جعل الممتلكات والنساء مشاعا بين الناس، وتم اضطهاد كافة الأديان الأخرى خاصة اليهودية واليهود. واستمر ذلك حتى عام 528 ميلادي بعد موت مزدك. إلا أنه شاعت بين اليهود في ذلك الوقت الرذائل لضعف الدعاة في مواجهة آثار المزدكية التي افتتن بها الأوباش والرعاع.
وعندما دخل الإسلام تلك البلاد، اعتنقه الكثير من اليهود والمسيحيين والصابئة، بينما ترك المسلمون من بقي منهم على ديانتهم على حريتهم، وأعاد اليهود بناء ما كان قد هدم من معابدهم في عهد يزدجرد وفيروز.
وفي منتصف القرن الثامن الميلادي (وهو يعادل الثالث الهجري تقريبا) انبعث في العراق حبر يهودي يدعي عنان بن داود» أنكر التفسيرات الشفوية ودعا إلى نبذها وإلى نبذ التلمود، وأن يقرأ كل فرد بنفسه الكتاب المقدس جيدا ويفكر فيه ويستنتج منه بنفسه أغراضه وأحكامه دون التقيد بحرفية النص، وسمي هذا المذهب
مذهب القرائين». وامتد هذا المذهب خارج العراق وإلى أورشليم وفارس وكثر أتباعه، إلا أن الحرية الزائدة التي أقرها هذا المذهب لأفراده في استنباط و تفسير کل فرد للكتاب حسبما يهديه إليه عقله مع الكثرة المتزايدة لاتباع المذهب كانت سببا في اضمحلاله وفنائه لكثرة الأفكار والإجتهادات التي تفرقت حتى تشتت المذهب وفني.
-وكانت اليمن ونجران: من مراكز تجمع اليهود الهامة بداية من القرن الرابع قبل الميلاد، باعتبارها مركزة هامة للتجارة في ذلك الوقت، وقد هاجر إليها يهود بابل وغيرها ليقوموا بتنظيم أعمال تجارتهم هناك، وخاصة تنظيم نقل بضائعهم المستوردة من إفريقيا عن طريق الحبشة.
ومع مرور الوقت أصبح لليهود في اليمن ونجران جالية تقيم بشكل دائم في جنوب الجزيرة العربية، ثم ازداد عددهم عندما اعتنق ملك حمير المعروف باسم «ذو نواس للديانة اليهودية وتبعه عدد كبير من قومه وذلك في أوائل القرن السادس الميلادي.