تخمین جریان نوری با استفاده از تقسیم بندی معنایی و شبکه عصبی عمیق AES

اهمیت و نیاز به درک صحنه های بصری به علت پیشرفت سامانه های خودکار به طور پیوسته افزایش یافته است. جریان نوری یکی از ابزارهای درک صحنه های بصری است. روش های جریان نوری موجود، مفروضات کلی و همگن فضایی، در مورد ساختار فضایی جریان نوری ارایه می دهند. درواقع، جریان نوری در یک تصویر، بسته به کلاس شی و همچنین نوع حرکت اشیاء مختلف، متفاوت است. فرض اول در میان بسیاری از روش ها در این زمینه، پایداری روشنایی در طی حرکت پیکسل ها بین فریم ها است. ثابت شده است که این فرض در حالت کلی صحیح ناست. در این پژوهش از تقسیم بندی اشیای موجود در تصویر و تعیین حرکت اشیا  به جای حرکت پیکسلی کمک گرفته شده است. درواقع از پیشرفت های اخیر شبکه های عصبی کانولوشن در تقسیم بندی معنایی صحنه های استاتیک، برای تقسیم تصویر به اشیا مختلف بهره گرفته می شود و الگوهای مختلف حرکتی بسته به نوعشی تعریف می شود. سپس، تخمین جریان نوری با استفاده از ایجاد یک شبکه عصبی کانولوشن عمیق برای تصویری که در مرحله اول تقسیم بندی معنایی شده است، انجام می شود. روش پیشنهادی کمترین خطا در معیار جریان نوری برای پایگاه داده KITTI-2015 را فراهم می آورد و تقسیم بندی بهتری را نسبت به روش های اخیر در طیف وسیعی از فیلم های طبیعی تولید می کند.