تاريخ ساخت اين باغ را به دروه سلجوقيان نسبت داده اند چرا كه در آن زمان، باغ تخت و چند باغ ديگر توسط اتابک قراجه حكمران فارس - كه از سوي سنجر شاه سلجوقي به حكومت فارس منصوب شده بود، احداث شد و احتمال ايجاد اين باغ به درخواست وي و در آن زمان، زياد است. هم چنين احتمال مي رود كه اين باغ در زمان كريم خان زند مرمت شده باشد.اين باغ در شمال باختري شيراز و در انتهاي خيابان ارم قرار گرفته است. اين باغ به مناسبت عمارت و باغ بزرگي كه در گذشته توسط شدادبن عاد پادشاه عربستان به رقابت با بهشت ساخته شده و ارم ناميده شده بود، به باغ ارم مشهور گرديده است .
در اواخر سلسله زنديه، بيش ا ز75 سال اين باغ در تصاحب سران ايل قشقايي بود، بناي اوليه عمارت باغ ارم توسط جاني خان قشقايي اولين ايلخان قشقايي و پسرش محمدقلي خان و در زمان فتحعليشاه قاجار احداث شده است .
عمارت اصلي باغ ارم طبق معماري دوره صفويه تا قاجاريه بنا شده است. اين ساختمان داراي سه طبقه است كه طبقه زيرين داراي حوض خانه اي براي استراحت در روزهاي گرم تابستان است كه در آن آب نماي زيبايي است و طاق آن با كاشي هاي هفت رنگ مزين شده است. جوي آبي نيز از وسط آن مي گذرد و سپس به آب نماي بزرگ جلوي عمارت مي ريزد .
طبقه دوم داراي ايواني دوستوني با سقف مسطح است كه در پشت آن تالاري قرار دارد و دو طرف آن دو راهرو، 4 اتاق در دو طرف راهرو و دو ايوان كوچک و دو طبقه ساخته شده است و بر فراز اين دو راهرو، دو گوشواره به عنوان طبقه سوم وجود دارد. قسمت جلويي ستون هاي اين دو طبقه با كاشي هاي هفت رنگ به مجالسي از سواران، زنان و گل ها مزين شده است .
طبقه سوم، داراي يک تالار بزرگ مانند تالار طبقه دوم است كه پنجره هاي آن به ايوان اصلي باز مي شود. در دو طرف آن نيز دو راهرو وجود دارد. دو ايوان كوچک نيز در هر طرف ايوان بزرگ همانند طبقه سوم قرار دارد. در پيشاني عمارت، هلالي هايي وجود دارد كه به سنتوري معروف است و داراي سه مجلس بزرگ و دو مجلس كوچک كاشي كاري با كاشي هاي لعاب دار رنگي است .
در هلالي ميدان كه بزرگ ترين هلالي است، نقش ناصرالدين شاه، سوار بر اسب سفيدي ديده مي شود كه نيم تاجي نيز در جلو كلاه خويش دارد. در اطراف آن، سه نقش ديگر كه برگرفته از داستان هاي فردوسي و نظامي است، ديده مي شود. در ضلع شمالي عمارت و چسبيده به آن هشت باب اتاق قرار دارد كه در حال حاضر مورد استفاده جهت امور اداري باغ گياه شناسي ارم است. در پشت ساختمان اصلي، ساختمان و محوطه اندرون قرار دارد. در جلو اين عمارت، حوض وسيعي قرار گرفته كه با كاشي آبي رنگ كاشي كاري شده است .
ازاره هاي جلوي عمارت اصلي از سنگ گندمک يکپارچه است كه بيش از دو متر بلندي دارد. در سال هاي 50-1345 ه . ش اين باغ در زير نظر مسوولين دانشگاه شيراز تعمير شد. هم چنين در سال 1358 به وسيله سازمان ميراث فرهنگي مرمت گرديد، هم اكنون اين باغ به عنوان باغ گياه شناسي مورد استفاده قرار گرفته است. اين باغ در تاريخ 1353 به ثبت تاريخي رسيده است