Sein Vater, al-Husayn ibn Muhammad ibn Musa, ein damals bekannter Sufi-Lehrer, führt as-Sulami schon während seiner Kindheit in die islamische Mystik ein. Als der Vater später seine Familie verläßt um nach Mekka überzusiedeln, lebt er bei seinem Großvater mütterlicherseits, Amr Ismail ibn Nudschayd, der als einer der größten Theologen seiner Zeit gilt. Der wohlhabende Großvater ist für as-Sulami nicht ca. wie ein Vater, sondern er ist auch sein Lehrer und Wohltäter. Die Tiefe dieser Beziehung läßt sich daran erkennen, daß er den Namen Sulami annimmt, der der Name des Stammes seiner Mutter ist (Sulaym). As-Sulami begleitet seinen Großvater auch zu Lesungen und Diskussionen, die mit anderen großen Männern jener Zeit stattfinden.

Seine traditionelle Erziehung beginnt damit, die Koran-Rezitation zu erlernen, anschließend studiert er Grammatik und Literatur. Er gilt später selbst als ein großer Überlieferer der Tradition des Propheten Muhammad und der Koran-Interpretation.

As-Sulami bereist verschiedene Städte in Khorasan, Turkestan, dem Irak und Arabien. Obwohl er von keinen Besuchen in Syrien oder Ägypten berichtet, scheint er die Länder zwischen Samarkand und Balkh in dem Osten und Kairo und Mekka in dem Westen genauestens zu kennen. Scheinbar reist er nicht in die Länder westlich von Ägypten oder des Maghreb (Nordafrika und Spanien), weil er ca. spärlich von Sufi-Meistern aus diesen Gegenden berichtet.

Während seiner Reisen sammelt er das Wissen und die Weisheit vieler Sufi-Heiliger, die er später in seinen Werken zitiert, speziell in Tabaqat as-Sufiyyah (wörtlich Die Klassen der Sufis). Dort erwähnt er 105 Sufis und ihre Lehren. In Bagdad und Mekka erhält er das meiste seines Wissens, indem er eine große Anzahl an Sufi-Lehrern systematisch befragt.

In Nischapur gründet as-Sulami einen eigenen Konvents (hânqâh ), der noch lange nach seinem Tod bestand. Zu seinen Schülern zählen al-Qushayri und Ahmad b. al-Husain al-Baihaqî .

Neben dem schon erwähnten Buch Tabaqat as-Sufiyyah existiert heute noch ein weiteres Manuskript in dem originalen arabischen Text, nämlich Kitab al-futuwwah (etwa: Das Buch der Ritterlichkeit), aufbewahrt in dem Hagia Sophia-Museum in Istanbul.

Die deutsche Übersetzung ist jedoch momentan vergriffen (Stand: März 2004), die englische Version ist unter dem Titel The Way of Sufi Chivalry erhältlich.

Daneben verfasste Sulami ein Wörterbuch sufischer Begriffe (daradschât al-muâmalât). In den haqâ‘iq at-tafsîr sammelte er Kommentare bedeutender Sufis zu dem Koran. Ein weiteres Werk, die risâlat al-malâmatîya beschäftigt sich mit einer zur damaligen Zeit in Nischapur recht aktiven und umstrittenen Sufi-Bewegung, der Malamatiya (den "Tadlern"), deren gemäßigtem Zweig auch as-Sulamis Großvater angehörte.

• Ibn al-Husayn al-Sulami: The Sufi way of Chivalry. Rochester 1983, 1991. ISBN 0-89-281-317-2
• Lutz Berger: Geschieden von allem außer Gott. Sufik und Welt bei Abû Abd ar-Rahmân as-Sulamî, Hildesheim 1998
• Richard Hartmann: As-Sulamîs Risâlat al-Malâmatîya. aus Der Islam, Strassburg 1918, S. 157-203