ارائه روشی جدید برای شاخص گذاری خودکار و استخراج کلمات کلیدی برای بازیابی اطلاعات و خوشه بندی متون

در زبان فارسی کلمات دارای صورت های نگارشی متنوعی هستند و پوشش کلیه حالات دستوری کلمات با به کارگیری یک سری قواعد معین ناممکن است به همین دلیل استخراج کلمات کلیدی به طور خودکار از متون فارسی دشوار و پیچیده است. در این مقاله سعی شده است با استفاده از اطلاعات زبان شناختی و اصطلاح نامه ، کلمات کلیدی بامعناتری ارائه شود. با استفاده از اصطلاح نامه که از نظامی ساختارمند برخوردار است می توان شبکه کلمات کلیدی، شامل کلمات هم ارز، کلمات سلسله مراتبی و وابسته را تکمیل کرده و افزایش داد. بنابراین می توان توافق بین جستجوی کاربران و کلمات کلیدی متنی را بیشتر نمود و جامعیت جستجو را افزایش داد. در مرحله اول کلمات غیر مهم و عمومی حذف می شوند. سپس کلمات متن ریشه یابی می شوند و در ادامه برای مشخص شدن اهمیت نسبی کلمات با استفاده از روش های وزن دهی یک وزن عددی به هر کلمه منسوب می گردد که بیانگر میزان تاثیر کلمه در ارتباط با موضوع متن و درمقایسه با سایر کلمات بکار رفته در متن است . مجموعه عملیات فوق خصوصا استفاده از اصطلاح نامه باعث می شود که دسته بندی متون دقیق تر انجام گیرد و به نوعی رده علمی سلسله مراتبی متون در حوزه بازیابی اطلاعات نیز مشخص می شود. نتایج آزمایش ها روی چندین متن در موضوعات مختلف نشان دهنده دقت و توانایی روش پیشنهادی در استخراج کلمات کلیدی منطبق با خواست کاربر است و در نتیجه خوشه بندی دقیق تر متون می باشد.