ولد الإخوة من أسرة آدم في كيركالدي بإقليم فايف، وتلقى كل منهم تعليمه بجامعة أدنبرة، ثم عملوا في وقت لاحق مع أبيهم وليم آدم وهو مهندس معماري أسكتلندي ومن القياديين في هذا المجال. وفي الفترة مابين 1754 و1758م سافر روبرت متنقلا في الأقطار الرئيسية من أوروبا، حيث أخذ يدرس الفن القديم للعمارة. وقد عاد ومعه بعض المصممين الإيطاليين إلى إنجلترا، ثم أسس آدم بعد ذلك مكتبًا للمهندسين المعماريين، وهو المكتب الذي كان الأول من نوعه للتصميم المعماري على النطاق الواسع.
وفي عام 1762م عُيِّن روبرت واحدًا من المهندسين المعماريين للملك جورج الثالث، ولكنه ترك وظيفته عندما تم اختياره عضوًا في البرلمان في عام 1768م.