کاروانسرای مشیرالملک در ضلع شرقی میدان مرکزی شهر برازجان قرار دارد. این کاروانسرا در سال 1250 شمسی به فرمان حاج میرزا ابوالحسن خان مشیرالملک با هزینه ای معادل 40 هزارتومان ساخته شد معمار این ساختمان حاج محمد رحیم شیرازی سازنده پل مشیر و کاروانسرای دالکی است که به طرز ماهرانه ای اقدام به ساخت این بنا به سبک معماری زندیه کرده است.

عمده مصالح تشکیل دهنده این کاروانسرا سنگ، گچ و ساروج است و در کف آن از تخته سنگ های بزرگ تراشیده شده استفاده شده است. بام کاروانسرای مشیرالملک نیز با سنگ پهن تراشیده شده است که هنگام بارندگی آب باران بوسیله ناودان های سنگی که به طرز جالبی تعبیه شده بودند به بیرون از کاروانسرا هدایت می شد.

در دیوار ضلع غربی کاروانسرا هم در ورودی بسیار بزرگی از جنس چوب قرار دارد که راه ورودی اصلی به حیاط کاروانسرا محسوب می شود.

در طبقه دوم کاروانسرا هم مکانی قرار گرفته که به شاه نشین معروف است. در جلوی شاه نشین یک تراس نسبتا وسیع رو به خارج وجود دارد. در دو طرف این شاه نشین راه پله هایی ساخته شده که پشت بام کاروانسرا را به محوطه دیگری که اندرون کاروانسرا و مخصوص زنان و کودکان بوده است وصل کند.

این بنا مثل سایر کاروانسرا های دیگر دارای 4 برج مرتفع است. مساحت کل بنا 7000 متر مربع با زیر بنایی در حدود 4200 متر مربع است.

از این بنا تا سال 1300 شمسی به عنوان کاروانسرا استفاده می شد که به علت واقع شدن شهر برازجان بر سر راه تجارتی شیراز به بوشهر مکانی مناسب برای استراحت کاروانیان بوده است.

از سال 1300 شمسی که قشون نظامی به برازجان وارد شد این کاروانسرا محل مناسبی برای استقرار نظامیان شناخته شد.

از سال 1335 با تغییرات و تعمیراتی، این بنا در اختیار شهربانی قرار گرفت که از آن به عنوان زندان استفاده می شد. به همین علت به دژ برازجان

معروف شد.

این بنا سال 1377 به دلیل اهمیت و ارزش قابل توجهی که داشت تخلیه شد و برای کاربری فرهنگی و هنری مورد مرمت قرار گرفت. همچنین کاروانسرای مشیرالملک نیز در سال 1362 در فهرست آثار ملی کشور به ثبت رسید.