سلمان در مداین، بیمار شد، بستری گردید، ساعات آخر عمر را می‏گذرانید به همسرش بقیره گفت: منتظر باش که به زودی مرا در بسترم، بی روح می‏یابی، سپس به بزرگانی که در کنار بستر بودند مانند حذیفة بن یمان، سعد وقاص، اصبغ بن نباته فرمود:
خانه را خلوت کنید آنها برخاستند و از خانه بیرون آمدند و در خانه را گشودند، چشم سلمان به در بود، گویی در انتظار مهمان غیبی است.
ناگاه امام علی (ع) وارد خانه شد و پرسید: حال سلمان چطور است؟ به بالین سلمان آمد و روپوش را به کناری زد، سلمان لبخند زد، امام علی (ع) به سلمان فرمود:
آفرین بر تو ای بنده صالح خدا، هنگامی که با رسول خدا(ص) ملاقات نمودی، چگونگی رفتار قوم، با برادرش را برایش تعریف کن.
سلمان از دنیا رفت، امام علی (ع) جنازه او را غسل داد و کفن کرد و بر کفن او این دو شعر را نوشت‏
و فدت علی الکریم بغیر زاد - من الحسنات و القلب السلیم‏
و حمل الزّاد اقبح کلّ شیی‏ء - اذا کان الوفود علی الکریم
بر شخص کریم و بزرگواری وارد شدم، بی آنکه توشه نیک، و قلب پاک داشته باشم، ولی هنگام ورود به محضر شخص بزرگوار، بردن توشه نزد او، قبیح‏ترین چیز است.(335)