ارائه یک روش دو جریانه مبتنی بر ویژگی های مکمل سنتی و عمیق برای تشخیص فعالیت انسان در ویدئو

تشخیص فعالیت انسان، امروزه به عنوان یک حوزه مهم در کاربردهای مختلفی مورد استفاده قرار گرفته است و مورد توجه بسیاری از محققان حوزه بینایی ماشین است تا بتوانند فعالیت اجرا شده در یک ویدیو را با دقت بالا طبقه بندی نمایند. در این مقاله یک روش دو جریانه با ساختاری جدید معرفی می گردد که از دو ویژگی مکانی در هر دو جریان استفاده می کند به گونه ای که این ویژگی ها بتوانند به پوشش نقاط ضعف همدیگر بپردازند. استفاده از این ساختار در نهایت می تواند به صورت دقیق تری منجر به پیش بینی برچسب فعالیت شود. در جریان اول ضرایب موجک با چندریزگی مناسب و در جریان دیگر ویژگی های عمیق از قاب ها استخراج می شوند. ویژگی های حاصل در دو نقشه ویژگی های مکانی قرار می گیرند و با استفاده از یک شبکه عمیق جدید تغییرات زمانی در نقشه ها یاد گرفته می شوند و با ترکیب اطلاعات طبقه بندی دو جریان برچسب نهایی تعیین می گردد. دقت روش پیشنهادی روی 3 مجموعه داده واقعی UCFYT، UCF-Sport، و JHMDB برابر با 98.7، 99.83 و 92.86 بوده که عملکرد روش به طور میانگین نسبت به بهترین روش معرفی شده قبلی 4.6 درصد بهتر است.