پیش از اسلام و در دوره ساسانیان در دهکدهی سرسبز سناباد از توابع توس، بنایی مجلل قامت برافراشته بود که محل استقرار کنارنگیان، مرزبانان توس بود. پس از فتح خراسان به دست مسلمانان، این قصر توسط خلیفه وقت «هشام» در اختیار «حمید بن ابی غانم طایی» والی خراسان قرار گرفت. پس از امویان و در دورهی عباسیان، این بنا ابتدا به «قحطبة بن شبیب» و بعد از وی از سوی خلفای وقت (منصور و مهدی عباسی) به «حمید بن قحطبه» که والی خراسان بود واگذار شد و سرانجام تقدیر چنین رقم خورد که این محل که تفرجگاه هارونالرشید (پنجمین خلیفه عباسی) بود، محل گور او شود و جسدش در مرکز این بنای تاریخی مدفون گردد.
در آن مدت به واسطهی گور هارون، عامهی مردم خراسان برای این مکان قداست و ارزش معنوی قایل نبودند، زیرا بنا به شواهد موجود، مردم خراسان، هیچگاه از ظلم و ستم کارگزاران ستمگر عباسی بهویژه علی بن عیسی بن ماهان، نماینده هارون در خراسان، در امان نبودند، تا سرانجام کار به شورش علیه هارون منجر شد.
منبع: اطلس حرم شناسی، زیر نظر: معاونت تبلیغات و ارتباطات اسلامی