ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ

امروزه پروژه متن باز هادوپ به همراه چهارچوب نگاشت-کاهش در بین موسسات، سازمان ها و محققین محبوبیت زیادی دارد که برای پردازش حجم انبوهی از داده ها به صورت موازی بر روی خوشه ای از کامپیوتر ها بسیار مناسب است. نگاشت-کاهش برای حل مشکلات محاسبات داده های حجیم معرفی شده است که از قاعده تقسیم-غلبه پیروی می کند. مانند هر جای دیگر، مبحث زمان و زمان بندی در نگاشت-کاهش از اهمیت بسیار بالایی برخوردار است. به همین دلیل در دهه اخیر الگوریتم های زمانبندی متعددی در این زمینه تدارک یافته است. ایده اصلی این الگوریتم ها افزایش نرخ محلی سازی داده، هم زمان سازی، کاهش زمان پاسخ و زمان اتمام وظایف می باشد. اکثر این الگوریتم ها تک هدفه می باشند و فقط یکی از موارد ذکر شده را مورد هدف قرار می دهند. الگوریتم های چند هدفه موجود فقط بر روی یکی از فازهای اول یا دوم نگاشت-کاهش تمرکز دارند. در این مقاله، یک الگوریتم زمان بندی ترکیبی مبتنی بر اولویت بندی پویا کار ها و محلی سازی داده در محیط نگاشت -کاهش به نام "HSMRPL" ارایه می شود که هدف اصلی آن افزایش نرخ محلی سازی داده و کاهش زمان محاسبات می باشد. در این الگوریتم از دو روش اولویت بندی پویا و شناسه محلی سازی استفاده می شود. برای ارزیابی الگوریتم پیشنهادی، آن را با الگوریتم های پیش فرض هادوپ و به کمک محک های استاندارد مقایسه کردیم. نتایج حاصله نشان می دهد که الگوریتم پیشنهادی ما نرخ محلی سازی را نسبت به الگوریتم FIFO، 5/18 درصد و نسبت به الگوریتم Fair، 4/10 درصد افزایش داده است. همچنین، الگوریتم پیشنهادی ما نسبت به الگوریتم FIFO، 8/3 درصد و نسبت به Fair، 4/13 درصد سریعتر است.