احداث باغ ارم فرصت الدوله را به محمد قلیخان ایلخانی نسبت می دهند و بنای عمارت آنرا از نصیرالملک از اعیان شیراز می دانند. بنای زیبای آنرا حاجی محمد حسن معمار که مسجد نصیرالملک نیز از آثار اوست طراحی کرده است.

براساس طرح محوری طولی ساخته شده است و جوی آبی از وسط ضلع شمالی محوطه را به دو نیم می کند و پس از عبور از وسط طبقه زیرین بنا به حوض بزرگی مقابل عمارت می ریزد و از جانب دیگر حوض به صورت آبنما تا انتهای باغ ادامه می یابد و در مسیر خود از دو حوض کوچک مستطیل نیز می گذرد و خیابان پهنی که از وسط ضلع جنوبی حوض آغاز می شود با درختان سروناز بسیار بلندی که در دو سوی آن کاشته شده و بوته های زیبای گل در حاشیه منظره بسیار زیبایی دارد.

در امتداد محور اصلی باغ کوشکی با دو حوض مستطیل وجود داشته که بعدها با دیواری از آن جدا شده است. یک خیابان پهن عرضی حد فاصل میانی و حوض بزرگ آب نماست. به موازات آن دو خیابان کم عرض دیگری شبکه مجموعه را تکمیل کرده است. در این باغ گذشته از درختان سروناز معروف آن درخت های مرکبات نیز نشانده شده است.

در حال حاضر عمارت اصلی سه اشکویه و حوض بزرگ و آیینه گون مقابل آن در قلب باغ واقع شده است و تالار طبقه زیرین که آب نمایی از میان آن می گذرد با کاشی های خوش نقش هفت رنگ زینت داده شده است. نماسازی بنا شامل ایوان ستوندار بلندی در وسط و دو ایوان کوچک روی هم در دو جانب و در برابر طبقه دوم و سوم است.

وجود خورشیدی بزرگ کولی دار بالای ایوان بزرگ و خورشید های کوچک تر بالای ایوان های جانبی با تزیینات زیبای کاشی بر شکوه بنا افزوده است. خورشید میانی از صحنه ای از حجاری های ساسانی تقلید شده است. چنانکه بر روی ازاره های سنگی نیز صحنه هایی از نقش های برجسته تخت جمشید کنده کاری شده است. تالارهای بنا با تزیینات آیینه کاری و گچبری و ارسی ها نمونه زیبایی از معماری دوران میانه قاجار است.