وكان خليل آغا حريصا على تنشئة الأمراء والأميرات نشأة أخلاقية قويمة كريمة ، غيورا على أن لا يصاب أحدهم في كرامته أو تخدش سمعته ، حتى لقد بلغ في غيرته عليهم أن تطاول وصفع مرة إحدى الأميرات لأنها غابت خارج القصر مدة تزيد على المدة التي حددها لها عند خروجها ، وثار لهذا الحادث الأمراء وغضبت الأميرات ، ولكن والدة إسماعيل باشا وقفت إلى جانبه ودافعت عنه وأيدته في موقفه ، فمرت العاصفة بسلام . ولما تولى مصر توفيق باشا انتهزت الأميرة التي صفعها خليل آغا الفرصة وسعت لدى توفيق باشا بإعدامه فأصدر أمره بذلك وترك له الخيار في أن يموت بالسيف أو بجرعة من السم ، فجرع خليل آغا كأسا من السم الزعاف فقضي نحبه . وخليل آغا هذا هو صاحب ومؤسس المدرسة المشهورة باسمه"مدرسة خليل آغا"التي كانت بأول شارع الدراسة بجوار جامع الأزهر الشريف ثم نقلت إلى جهة أخرى حين تنظيم الشوارع وتوسيعها ،وكان لهذه المدرسة أكبر الفضل في تعليم كثير من كبار رجال الدولة من الجيل الماضي ولا تزال المدرسة قائمة في تعليم أبناء الأمة إلى اليوم . ولقد استطاع خليل آغا أن يجمع ثروة كبيرة من الأراضي والبيوت والعمارات ، ثم وقفها من بعده على أعمال البر والفقراء من الأغوات والعتقاء ، وبلغت مساحة الأرض التي وقفها ألف وثمانمائة فدان ، وتعد أوقافاته من الأوقافات الكبيرة ذات الإيراد الكبير الوفير ، رحمه الله عليه وجزاه خير الجزاء . انتهى . ومن عجائب ما كان للأغوات من الصولة والمكانة ، ما رواه صديقنا الأستاذ أحمد السباعي في كتابه"تاريخ مكة"بصحيفة 257 حيث يقول: ومن غرائب ما يذكر أن بشير آغا الطواشي من مماليك السلطان مراد"أي الرابع"حج في عام (1046) وكان يحمل تفويضا من السلطان بعزل وتولية من توليته وعزله في البلاد التي يمر بها ، فلما انتهي إلى مصر خرج واليها للقائه في ظاهرها وقبل ركبته ومشي بين يديه إلى أن أذن له بالركوب ،فلما انتهى خبر ذلك إلى الشريف زيد في مكة عز عليه أن يمشي في ركاب الطواشي ،فاستشار الشيخ عبد الرحمن المحجوب ، وكان من رجال العلم الصالحين ، فقال له: اسأل الله أن يكفيك ذلك فاستجيبت دعوته ، لأن بشير آغا ما كاد يصل إلى مكة حتى سبقه إليها خبر وفاة السلطان مراد وبذلك بطل مفعول التفويض الذي يحمله ،