كان أبو سلمى من أسرة علم وأدب، فأبوه الشيخ سعيد من العلماء الأجلاء واللغويين الثقاة، وكان عضوًا مؤسسًا في المجمع العلمي العربي. أما أخوه أحمد شاكر الكرمي فكان من الصحفيين العرب الرواد ومن وجوه الوطنية والقومية، حتى أن دمشق أطلقت إسمه على أحد شوارعها. وبرز أخوه حسن الكرمي"أبو زياد"كراوية علاّمة، وحقق شهرة مدوية من خلال برنامج"قول على قول"الذي كان يعدّه ويقدمه بصوته من إذاعة لندن.

بعد أن أحرز شهادة البكالوريا السورية عام 1927 قصد بيت المقدس، وعُين معلمًا في المدرسة العمرية , والمدرسة الرشيدية , وفي هذا المعهد التقى بصديق صباه إبراهيم طوقان شاعر فلسطين , وعكف ليلًا على دراسة الحقوق في معهد الحقوق الفلسطيني بالقدس.

وهنا برز عامل هام في حياته , أفضى إلى إقالته من عمله الرسمي وذلك أنه نظم قصيدة نشرتها مجلة الرسالة المصرية , بعنوان:"جبل المكبر", هاجم فيها السلطات البريطانية في فلسطين لعزمها على إنشاء قصر للمندوب السامي البريطاني على جبل المكبر الذي زاره الخليفة العادل عمر بن الخطاب رضي عنه عندما هبط بيت المقدس وصلى فيه مع جماهير المصلين مكبرين ,

جاء فيها:

جبل المكبر طال نومك فانتبه ... قم و اسمع التكبير و التهليلا

جبل المكبر لن تلين قناتنا ... حتى نهدم فوقك الباستيلا

حياته:

بعد إقالته من سلك التعليم , إنتقل إلى العمل في القسم الأدبي في الإذاعة الفلسطينية، وكان صديقه إبراهيم طوقان رئيسًا لهذا القسم , وأثناء عمله في الإذاعة نال شهادته في معهد الحقوق , مما جعله يترك العمل بالإذاعة وينتقل إلي حيفا حيث يمارس المحاماة فيها , حتى حلت نكبة فلسطين عام 1948 , فغادرها إلي دمشق في 28 نيسان من ذلك العام .... أثناء ذلك أطلق قصيدته الشهيرة"سنعود"

غدًا سنعود و الأجيال تُصغي ... إلى وقع الخطى عند الإياب

نعود مع العواصف داويات ... مع البرق المقدس والشهاب