اكتشف علماء الآثار في منطقة جوهانسبرج بقايا مجموعة نشطة من القرى التي تنتمي إلى العصر الحديدي، التي يرجع تاريخها إلى القرن الثاني عشر قبل الميلاد، ووصلت موجة جديدة من المستوطنين في القرن الثالث عشر الميلادي وازدهرت القرى في القرن السادس عشر الميلادي. وكان معظم المستوطنين الأوائل من قبائل التسوانا.
وكان معظم المستوطنين البيض الأوائل قد وصلوا إلى ترانسفال في الثلاثينيات من القرن التاسع عشر، وقبل عام 1886م كان في جوهانسبرج عدد قليل من المزارعين المتفرقين الذين نجحوا في العيش بشق الأنفس. وفي عام 1886م اكتشف منقب أسترالي يدعى جورج هاريسون عرقا من الذهب في مزرعة لانجلاجيت. وكانت هذه إشارة إلى أعظم اندفاع للتنقيب عن الذهب في تاريخ العالم.
وتم الإعلان عن المناجم، وهاجر الباحثون عن الثراء إلى المنطقة بالآلاف وبنوا بسرعة مجتمعًا من الخيام والأكواخ في الموقع.
وفي الرابع من أكتوبرعام 1886م تم الإعلان عن تأسيس مدينة صغيرة في مزرعة راندجسلاجت. وبعد ذلك بأحد عشر عامًا تأسس مجلس بلدية جوهانسبرج، وفي عام 1928م أصبحت مدينة. وتم اختيار جوهانسبرج لتكون عاصمة لمقاطعة جوتنج التي أنشئت عام 1994م. وعملت سلطات المدينة على تكوين حكومة حضرية واحدة لكل من جوهانسبرج وسويتو وأجزاء أخرى من وسط ويتواترزراند.