تخرجه قسيسًا، وأحزنها حزنًا عميقًا اختياره حياة الموسيقى التي لا ضمان لاستقرارها. على أن فرانك شجع ميل الطفل للموسيقى وعلمه كل ما في طاقته أن يتعلمه، وألزمه نظامًا صارمًا للدرس. وقد ذكر هايدن في شيخوخته هذا الرجل وغفر له قائلًا"سأكون ما حييت شاكرًا لذلك الرجل أنه الزمني العكوف على العمل وإن اعتدت أن أنال من الجلد أكثر مما أنال من الطعام (26) ". وبعد أن قضى يوزف عامين مع فرانك أخذه إلى فيينا جبورج روتير، مدير فرقة المرتلين في كاتدرائية القديس اسطفانوس، ورأى رويتر إن صوته"الضعيف الحلو"قد يجد مكانًا متواضعًا في فرقة المرتلين. وهكذا ذهب الغلام الحيي المشتاق ليعيش في مدرسة المرتلين"الكانتوربي"الملحقة بالكاتدرائية. وهناك كان يتلقى دروسًا في الحساب والكتابة واللاتينية والترتيل والكمان. ورتل في الكاتدرائية وفي المصلى الإمبراطوري، ولكنه كان لا ينال إلا أتفه الغذاء، فكان يرحب بدعوات للغناء في البيوت الخاصة يستطيع أن يملأ معدته فضلًا عن إنشاد أغانيه.
وفي 1745 أنظم إليه في مدرسة المرتلين أخوه ميخائيل الذي كان يصغره بخمس سنين. وحوالي هذا التاريخ بدأ صوت يوزف يصبح أجش، فعرض عليه أن يخصى ليحتفظ بصوته السوبرانو، ولكن أبويه لم يوافقا. واحتفظ به رويتر أطول ما يستطيع، وأخيرًا في 1748 وجد يوزف نفسه وهو في السادسة عشرة حرًا ومفلسًا، لم يؤت من حسن السمت وجاذبيته ما يكسبه رضى الحظ عنه. فقد نقر الجدري وجهه، وكان أنفه بارزًا، وساقاه أقصر مما يناسب جسمه، ولباسه رثًا، ومشيته لا رشاقة فيها، ومسلكه خجولًا مترددًا. ولم يكن بعد قد حذق العزف على أي آلة، ولكنه كان في تلك الآونة يقلب الألحان في رأسه.
وعرض عليه زميل في صف المرتلين حجرة على السطح، وأقرضه أنطوان بوخهولتز 150 فلورينًا ردها إليه هايدن الأمين فيما بعد. وكان عليه أن يجلب الماء صعدًا إلى حجرته العليا كل يوم، ولكنه حصل على