ومهما يكن من شيء فكتاب القرن العاشر وما بعده أصبحوا يتناقلون عن الأسرة اليلصوتية أنها من ذرية عثمان ابن عفان رضي الله عنه، ونجد هذا عند الذين ترجموا للشيخ عبد الوارث اليلصوتي (ت 971هـ) وهو كثيرون لأن الشيخ عبد الوارث هذا كان من أكابر شيوخ الصوفية في عصره، والذين ترجموا له أو تحدثوا عنه يصفونه بالعلم والصلاح والولاية وكثرة التلاميذ، ويذكرون له مجموعة من التآليف في التصوف وغيره، وبعضهم يتحدث عن علماء أجلة من ذريته ... وهو جميعا ينسبونه إلى يلصو وينسبون يلصو إلى عثمان بن عفان الصحابي الجليل .. وفي طليعة هؤلاء جميعا تلميذه محمد ابن عسكر الذي لازمه سبع سنين ودرس عليه عدة فنون من بينها ألفية ابن سينا في الطب11.

وممن تحدث عن أبي البقاء عبد الوارث اليلصوتي محمد العربي الفاسي في مرآة المحاسن12 وعبد

الرحمن الفاسي في ابتهاج القلوب13 والمهدي الفاسي في ممتع الاسماع14 والحضيكي في الطبقات15 وغيرهم.

ويلصو الذي هو الجد الأعلى للأسرة اليلصوتية يجعله الذين يتحدثون عن ذريته حفيدا لأبان بن عثمان ابن عفان إلا أنهم يختلفون في أبيه فهو عند ابن عسكر في الدوحة: يلصو بن عبد الله بن أبان بن عثمان. وهو في كثير من التقاليد التي عثرت عليها يلصو بن محمد ابن ابان بن عثمان، وهو في فوائد محمد الهبطي. يلصو بن مروان ابن أبان بن عثمان ...

ورد الشيخ النسابة الشريف العلمي سليمان الحوات (ت 1234 هـ) في كتابه"الروضة المقصودة"على ابن عسكر الذي جعل يلصو ابن عبد الله،