بررسی تطبیقی، کاربردها و چالش های فناوری های تحلیل بزرگ داده

دریافت و به اشتراک گذاری اطلاعات ساده تر و ارزان تر از قبل، سازمان ها را قادر به اداره حجم زیادی داده ها در سرعت و تنوع زیاد به نام بزرگ داده ها کرده است. داده های بزرگ فرصت های زیادی را زمانی که مشکلات مرتبط به درستی حل شوند فراهم می کند. فن آوری های پردازش داده های موجود برای مواجهه با مقادیر زیاد داده های تولید شده مناسب نیستند. قالب های پیشنهادی برای کاربردهای بزرگ داده، به ذخیره، تجزیه و تحلیل و پردازش داده ها کمک می کنند. در این تحقیق با استفاده از مطالعات کتابخانه ای، تعدادی از چارچوب های مهم بزرگ داده موجود (هادوپ، فلینک، استورم، اسپارک و سمزا) را مورد مطالعه و مقایسه تطبیقی قرار گرفته است. چارچوب بزرگ داده های مورد مطالعه، به طور کلی در دو دسته طبقه بندی می شود: (1) حالت دسته ای و (2) حالت جریانی. چارچوب هادوپ، داده ها را در حالت دسته ای پردازش می کند، در حالی که چارچوب های دیگر، اجازه پردازش جریانی یا بلادرنگ را می دهند. نهایتا مهم ترین کاربردها و چالش های حاصل از کاربرد فناوری بزرگ داده تشریح شده است. مهم ترین کاربردهای تحلیل بزرگ داده عبارتند از: کاربردهای برنامه های بهداشتی، سیستم های توصیه گر، شهر هوشمند و تحلیل شبکه های اجتماعی. همچنین مهم ترین چالش های کاربرد بزرگ داده ها، شامل محرمانگی در سیستم های ذخیره سازی، کمبودهای نرم افزاری و محدودیت ابزارها و امکانات سخت افزاری موجود، لزوم سرمایه گذاری بزرگ اولیه و فقدان مهارت های تکنیکی و نیروی کار خبره می باشد.