تشخیص جعل در تصاویر دیجیتالی با استفاده از روش یادگیری عمیق ترکیبی

امروزه از تصاویر به عنوان ابزار ارتباطی قوی و منبعی از اطلاعات استفاده می شود. تصاویر در برخی از کاربردها مانند پزشکی، قضایی و پزشکی قانونی به عنوان مدرک و شاهد استفاده می شوند، بنابراین صحت تصویر مهم است. امروزه با گسترش و دردسترس بودن ابزارهای ویرایش تصویر، افراد می توانند به راحتی تصاویر را دست کاری کنند. آن ها با اضافه کردن بخشی به تصویر یا حذف کردن بخشی از تصویر و توزیع اطلاعات غلط اهداف و مشکل های سیاسی، فرهنگی، اقتصادی و اجتماعی را دنبال می کنند. ازاین رو تشخیص جعل تصاویر دیجیتال یکی از موضوع های مهم و چالش برانگیز در حوزه بینایی کامپیوتر است. در این پژوهش هدف شناسایی تصاویر و پیکسل های جعلی و سالم با استفاده از شبکه یادگیری عمیق ترکیبی است. در روش پیشنهادی از سه شبکه از پیش آموزش داده شده VGG16، MobileNet و EfficientNetB0 در سه انشعاب مختلف استفاده شده است. برای تشخیص جعل در دو سطح تصویر و پیکسل، ابتدا نقشه های ویژگی خروجی سه انشعاب با هم ادغام شده و با استفاده از لایه پولینگ میانگین جهانی و لایه امتیازدهی، تصاویر جعل و سالم تشخیص داده می شوند. در ادامه با استفاده از نقشه های ویژگی ترکیب شده از سه انشعاب بر روی تصاویر جعل، یک تصویر نقشه حرارتی ایجاد می شود و محدوده پیکسل های جعل مشخص می شوند. لازم به ذکر است تشخیص پیکسل های جعل تنها با استفاده از تصویر نقشه حرارتی ساخته شده از شبکه ترکیبی و بدون نیاز به استفاده از تصاویر حقیقی باینری مشخص کننده ناحیه جعل در فرآیند آموزش انجام شده است. روش پیشنهادی بر روی پایگاه داده CoMoFod ارزیابی شده است. نتایج ارزیابی ها عمل کردن مطلوب روش پیشنهادی را در برابر تصاویر جعل با انواع تبدیل های هندسی و عملیات پس پردازش نشان می دهد.