زمانی که حاج شیخ عباس قمی در مشهد ساکن بود، جمعی از مؤمنان و بزرگان مشهد از ایشان در خواست کردند که در ماه مبارک رمضان، در مسجد گوهر شاد نماز جماعت بر پا کند و سمت امامت جماعت را بپذیرد.
ایشان این دعوت را پذیرفت. وی یک روز پس از اتمام نماز ظهر، مسجد را ترک کرد و به کسانی که نزدیکش بودند گفت: نماز عصر را به انتظار من نباشید! ایشان به خانه برگشت و تا آخر ماه مبارک رمضان، دیگر به نماز جماعت حاضر نشد!
هنگامی که یکی از علما از ایشان پرسید: چرا نماز جماعت را تعطیل کردید، در جواب گفت: در رکوع رکعت چهارم، وقتی متوجه شدم که صدای اقتدا کنندگان پشت سرم که گفتند: یا الله، یا الله، ان الله مع الصابرین، از راه دور به گوشم می‏رسد، در خودم احساس نشاط و غرور کردم و این خود بهترین دلیل بود برای من که برای امامت، اهلیت ندارم و دیگر نمی‏توانم چنین بار گرانی را تحمل کنم(199).