بين أحضان والدين حريصين على تنشئة أبنائهما تنشئة إسلامية صحيحة، ولد عبد الملك بن عبد الله بن يوسف سنة 419هـ في جوين (وهي مدينة بين بسطام ونيسابور) ببلاد فارس، فوالده (عبد الله الجويني) كان يعقد في (نيسابور) ببلاد فارس المجالس للمناظرة والفتوى، وتعليم الخاصة والعامة، وكان يحب العلم حبًّا شديدًا حتى إنه كان يدعو ويقول: (اللهم لا تعقنا عن العلم بعائق ولا تمنعنا عنه بمانع) وكان زاهدًا عابدًا يحرص حرصًا شديدًا على ألا يقع في الشبهات، حتى إنه كان يحتاط في أداء الزكاة فيؤديها في السنة مرتين، خوفًا من النسيان وزيادة في القربى.
ولازم الطفل الصغير (عبد الملك) والده الفقيه المحدث المتكلم، فتعلم الفقه واللغة العربية على يديه، كما تعلم من والده الالتزام بأخلاق الإسلام كالأمانة والصدق وحب الخير؛ فقد كان والده خير قدوة له، وتفوق الجويني على زملائه ممن كانوا يتعلمون على يد أبيه، ولم يقتصر إمام الحرمين على قراءة العلوم الإسلامية وحدها، بل إنه أخذ يطالع في كل العلوم، يصل ليله بنهاره قراءة واطلاعًا.
وقبل أن يبلغ (عبد الملك) سن العشرين أصبح أحد الأئمة الكبار، وما إن توفي والده، حتى قعد مكانه للتدريس، إلا أنه استمر في تحصيل العلم، فكان يذهب إلى (أبي القاسم الإسفراييني) وهو من العلماء الكبار يتعلم منه الفقه والأصول، ويذهب في الوقت نفسه إلى مجالس (عبد الله محمد بن علي النيسابوري الخبازي) ليتلقى عنه علوم القرآن.