شناسایی صحنه، مبتنی بر همجوشی در دادگان جدید چندطیفی (مرئی-فروسرخ) و شبکه های پیچشی ژرف، با رویکرد یادگیری انتقالی

در دهه های اخیر، تکنیک های مختلفی در حوزه بینایی کامپیوتر، برای طبقه بندی و شناسایی صحنه ها در فضاهای مختلف، بر روی تصاویر طیف مریی ارایه شده است. در این مقاله، ابتدا یک پایگاه داده تصویری چند طیفی، شامل زوج تصاویر طیف مریی رنگی  و فروسرخ  ایجاد می شود. سپس با تجزیه تصاویر طیف مریی و فروسرخ، به وسیله تبدیل موجک  و استفاده از یک روش وزن دهی مبتنی بر آموزش شبکه های عصبی پیچشی ژرف، همجوشی تصاویر انجام می شود. همچنین این رویکرد، با چندین روش همجوشی دیگر و با استفاده از معیارهای ارزیابی کمی، مقایسه می شود. در نهایت، با استفاده از معماری های مبتنی بر شبکه های عصبی پیچشی ژرف  آموزش دیده ، تصاویر صحنه های مختلف، طبقه بندی می شوند. برای آموزش این شبکه ها بر روی مجموع تصاویر این پایگاه داده کوچک، از رویکرد یادگیری انتقالی، استفاده می شود تا طبقه بندی صحنه، با کمترین هزینه محاسباتی انجام گیرد. نتایج تجربی نشان می دهند که روش پیشنهادی، در طبقه بندی صحنه، که به صورت همجوشی تصاویر چهارکاناله (RGB-IR) صورت گرفته است، کارآمد بوده و ضمن داشتن معیارهای کمی همجوشی بالاتر، منجر به عملکرد بهتر، در مقایسه با سایر رویکردهای همجوشی تصاویر چندطیفی و با دقت طبقه بندی 96.67% می شود.