روش پیش تعلیم سریع بر مبنای کمینه سازی خطا برای همگرایی یادگیری شبکه های عصبی با ساختار عمیق

در این مقاله با توسعه روش های موجود و بر مبنای کمینه سازی خطا و حفظ تمایز بیشینه بین نمونه ها، یک روش پیش تعلیم لایه به لایه سریع و کارا جهت مقداردهی اولیه مناسب وزن ها در شبکه های عصبی با ساختارهای عمیق ارائه شده است. تعلیم شبکه های عصبی عمیق به دلیل مواجهه با تعداد بالای کمینه های موضعی اغلب همگرا نمی شود. درحالی که با مقداردهی اولیه مناسب وزن های شبکه به جای مقادیر تصادفی در ابتدای مسیر تعلیم، می توان از بسیاری از کمینه های موضعی اجتناب کرد. در این روش شبکه عصبی چندلایه به تعداد متناظری شبکه با یک لایه پنهان شکسته می شود و ابتدا این شبکه های یک لایه پنهان تعلیم داده می شوند. سپس مقادیر وزن حاصل از تعلیم اینها در شبکه عصبی اصلی قرار داده می شود و برای تنظیم دقیق وزن ها، تعلیم یک پارچه صورت می گیرد. روش پیشنهادی برای پیش تعلیم شبکه عصبی خودانجمنی پنج لایه پنهان جهت استخراج مولفه های اساسی غیرخطی چهره برای دادگان بسفروس مورد استفاده قرار گرفت. مقایسه میانگین نتایج شبکه های عصبی با مقداردهی اولیه تصادفی و مقداردهی با روش پیش تعلیم لایه به لایه نشان می دهد که این روش پیش تعلیم، علاوه بر اینکه سرعت همگرایی تعلیم را بهبود می دهد، قدرت تعمیم شبکه را نیز بالا می برد. به گونه ای که با وجود خطای تعلیم یکسان، با به کارگیری روش پیش تعلیم لایه به لایه برای مقداردهی اولیه وزن ها، خطای بازسازی هر پیکسل %69/13 کاهش و درصد صحت بازشناسی تصاویر با استفاده از مولفه های استخراج شده حدود %10 بهبود داشته است. همچنین بررسی ها نشان داد که روش پیش تعلیم لایه به لایه در مقایسه با دو روش پیش تعلیم مشرف به هدف و تجزیه به ماشین های بولتزمان کارایی بالاتری دارد