سنجش رتبه بندی سامانه های پیشنهاددهنده مقاله در تقابل با رتبه بندی کاربران

سامانه های پیشنهاددهنده مقاله های علمی در تلاش اند به جای الزام کاربر به اصلاح راهبرد جستجو و فرمول بندی واژگان پرسش، الگوریتم ها و رویکردهای مناسب را برای عرضه مرتبط ترین مدارک به کار گیرند. علاوه بر ربط، رتبه بندی مدارک بازیابی شده نیز می تواند رضایت کاربران را تضمین کند. این مقاله نتیجه تحلیل رتبه مقاله ها را در سامانه های پیشنهاددهنده پایگاه وب آوساینس و موتور جستجوی گوگل اسکالر از دیدگاه کاربران و سنجه (NDCG) Normalized Discounted Cumulative Gain گزارش می کند.

از 120 دانشجوی داوطلب دکترای دانشگاه شیراز در رشته های علوم انسانی، علوم پایه، فنی-مهندسی، کشاورزی، و دام پزشکی (از هریک 30 نفر) خواسته شد 2400 مقاله (1200 مقاله پیشنهادی گوگل اسکالر و 1200 مقاله پایگاه وب آو ساینس) را به لحاظ ربط، رتبه بندی کنند. داده ها با پرسشنامه و نرم افزار پژوهشگرساخته گردآوری شد.

میان رتبه انتسابی کاربران و رتبه انتسابی پایگاه شباهت ضعیف بود. شباهت رتبه بندی مقالات در سامانه های هر دو پایگاه نیز ضعیف، اما معنادار بود.الگوریتم ها و شاخص های سامانه های پیشنهاددهنده هر دو پایگاه برای رتبه بندی چندان موفق نیست و نیاز به بازنگری دارد.

الگوریتم ها و شاخص هایی که سامانه پیشنهاددهنده دو پایگاه برای رتبه بندی مقاله های مرتبط پیشنهادی درنظر گرفته اند، در تامین رضایت کاربران زیاد موفق نبوده است؛ بنابراین بازنگری در الگوریتم های رتبه بندی این دو پایگاه ضروری به نظر می رسد.