مسجد جامع سراب همانند اغلب مساجد جامع شهرهای این منطقه، دارای سابقه ای تاریخی است. تاریخ بنای این مسجد به قرن نهم هجری می رسد اما به تازگی در حفاری های به عمل آمده که جهت تعمیرات انجام می گرفت معلوم شد مسجد فعلی بر روی یک مسجد بسیار قدیمی احداث شده که آثار آن دیده می شود. این مسجد بدون مناره و گلدسته بوده و از یک شبستان بزرگ، حیاطی کوچک، منبر و سه محراب تشکیل شده است. همچنین 36 ستون اصلی و 29 ستون کاذب و نیم ستون طاق های جناقی و گنبدهای مدور مسجد را نگه می دارند. در ورودی شرقی دارای کتیبه ای مرمرین به تاریخ 875 هجری قمری بوده که با خط نسخ متداول دوره گورکانیان و ترکمانان آق قویونلو نگاشته شده است. این کتیبه در سازمان میراث فرهنگی نگهداری می شود.