ولقد سمي غير المسلمين في الدولة التي تحتكم للإسلام في التاريخ بأهل الذمة, كلمة الذمة في اللغة العربية تعنى العهد, وتعنى العقد, وتعني الاتفاق, وفي المصطلح السياسي وقتئذ, كانت تعني عقد الأمان الذي يعني أن لهم كافة ما للمسلمين من حقوق, وألا يجبروا على مشاركتهم في الحروب التي كانت قائمة على أساس الدفاع عن الإسلام أو السعي إلى إيصال العلم به إلى الشعوب, وأفتى الفقهاء بسقوط الجزية عن الذمي الذي يحارب باختياره مع المسلمين, ولا تفرض عليهم الزكاة التي على المسلمين, في حين أنهم يستفيدون من بيت المال العام. وبناء على تلك الإعفاءات من الأعباء العامة, في حين أنهم يستفيدون من نضال المسلمين في حماية وطنهم وأنفسهم وأموالهم, فكان من الطبيعي فرض ضريبة عليهم تحقق شيئًا من التعادل. وقد نقل لنا التاريخ أن بني تغلب كانوا من العرب الذين تنصروا في الجاهلية, فامتنعوا عن دفع الجزية في عهد عمر بن الخطاب, معتبرين إياها انتقاصًا لحقوقهم التي يجب أن تكون متساوية مع العرب, وعرضوا دفع الزكاة التي يدفعها المسلمون, فقبل منهم الخليفة ذلك بعد المشورة, فكان ما دفعوه ضعف ما كان يجب أن يدفعوا من الجزية التي كانت تحسب فقط على أعداد الشباب الذكور القادرين على الحرب, وتسقط عن النساء والأطفال والعجائز. أما الزكاة فهي فريضة على كل مسلم يمتلك نصابها, من الشباب والأطفال والشيوخ والنساء.

وثيقة المدينة هي أول وثيقة في التاريخ تعترف بالتعددية الدينية:

لأول مرة نجد في هذا العقد كلمة الذمة. لكن وجدنا كلمة جديدة وليست الكلمة القديمة التي كانت معروفة, و ليست كلمة الذمة التي استعملها العرب قبل ذلك. وجدنا النبي (ص) يأمر بأن يكتب في هذه الوثيقة"و إن ذمة الله واحدة (فى المادة ال 15, و الوثيقة بها 47 مادة) .القارئ لهذه الوثيقة يجد ان الرسول (ص) أنشأ أول نظام للمواطنة في التاريخ."

و لقد جاءت قضية الذمة و الجزية بعد حرب الروم. بعد ما حاول الروم الاعتداء على دولة الإسلام و حدثت المعركة المشهورة وهي غزوة مؤتة نزل القرآن يقول إن الذين يصنعون هذا و يقاتلون المؤمنين و يحاربون هذه الدولة لا يجوز أن يعقد معهم صلح. لكن الواجب أن تقاتلوهم حتى يظهركم الله عليهم. فإذا أظهركم الله عليهم, ماذا بعد ذلك؟ هناك حلان في التاريخ القديم: إما أن يستعبدوا أو أن يقتلوا.

نص الوثيقة، من السيرة النبوية، لابن هشام:

قال ابن إسحاق: وكتب رسول الله, صلى الله عليه وسلم, كتابا بين المهاجرين والأنصار, وادع فيه يهود وعاهدهم، وأقرهم على دينهم وأموالهم، وشرط لهم، واشترط عليهم:

"بسم الله الرحمن الرحيم، هذا كتاب من محمد النبي, بين المؤمنين والمسلمين من قريش ويثرب ومن تبعهم فلحق بهم وجاهد معهم: إنهم أمة واحدة من دون الناس، المهاجرون"