بازشناسی زبان اشاره با ترکیب اطلاعات بدست آمده از سنسور کنترل کننده حرکت و تصویر دست

سیستم های بازشناسی زبان اشاره کمک می کنند تا افراد ناشنوا به رسانه های مختلف دسترسی داشته باشند. در این مقاله، سنسور کنترل کننده حرکت و تصویر دست برای بازشناسی زبان اشاره بکار گرفته شده اند. سنسور کنترل کننده حرکت اطلاعات مربوط به مکان سه بعدی مفاصل دست را فراهم می کند. سری اول ویژگی ها از اطلاعاتی که این سنسور فراهم می کند، استخراج می شود. مواقعی که دست عمود بر سنسور کنترل کننده حرکت قرار نگرفته یا در حالت هایی که دست مشت می شود مکان دقیق مفاصل دست قابل شناسایی نیست. سری دوم ویژگی ها که از تصویر دست استخراج می شود کمک می کنند تا اکثر حالت های دست دقیق تر بازشناسی شوند. سری دوم ویژگی ها شامل هیستوگرام گرادیان های جهت دار و فاصله ی کانتور از مرکز تصویر است. همچنین یک پایگاه داده ی متنوع از حالت های دست زبان اشاره ی آمریکایی ساخته شده است که شامل 64 هزار نمونه است. در مرحله ی بازشناسی از طبقه بند جنگل تصادفی استفاده می شود که برای پایگاه داده های بزرگ انتخاب خوبی است. نتایج آزمایش ها نشان می دهند که روش پیشنهادی نسبت به روش های مشابه نتایج بهتری ارایه می دهد.