ارائه یک روش مبتنی بر مدل زبانی برای واحدسازی پیکره فارسی
نویسنده:
نوع مقاله:
مقاله پژوهشی/اصیل (دارای رتبه معتبر)
چکیده:
متن نگاشته شده فارسی دو مشکل ساده ولی مهم دارد. مشکل اول واژه های چندواحدی هستند که از اتصال یک واژه به واژه های بعدی حاصل می شوند. مشکل دیگر واحدهای چندواژه ای هستند که از جداشدگی واژه هایی که با هم یک واحد واژگانی تشکیل می دهند حاصل میگردند. این مقاله الگوریتمی را معرفی می کند که بتواند به طور خودکار این دو مشکل را در متن نوشتاری فارسی بکاهد و یک متن معیار را به دست آورد. الگوریتم معرفی شده سه مرحله دارد. در مرحله اول، واژه های چندواحدی از هم جدا می شوند و واحدهای چندواژه ای به یکدیگر متصل می شوند. برای این مرحله، یک الگوریتم پایه مبتنی بر مدل زبانی معرفی شده است که کار تفکیک واژه های چندواحدی به واژه های مستقل را انجام می دهد. این الگوریتم باتوجه به چالش های پیش آمده بهبود می یابد تا کارایی آن افزایش یابد. همچنین این مرحله از یک تحلیل گر صرفی برای بررسی وند تصریفی و اشتقاقی و روش انطباق فهرست واژه برای رفع مشکل واحدهای چندواژه ای استفاده می کند. در مرحله دوم، از روش انطباق برای بررسی چندواژگی افعال استفاده می شود. مرحله سوم تکرار مرحله اول است تا مشکلات جدید ایجادشده در متن بعداز اجرای مرحله دوم مرتفع شود. الگوریتم معرفی شده برای واحدسازی داده زبانی پایگاه داده های زبان فارسی استفاده شده است. با استفاده از این الگوریتم، 04/72 درصد خطای نگارشی واژه های داده آزمون تصحیح شدهاست. دقت این تصحیح در داده آزمون 80/97 درصد و خطای نگارشی ایجادشده توسط این الگوریتم در داده آزمون 02/0 درصد است.
کلیدواژگان:
زبان:
فارسی
صفحات:
21 تا 50
لینک کوتاه:
magiran.com/p1998000
دانلود و مطالعه متن این مقاله با یکی از روشهای زیر امکان پذیر است:
اشتراک شخصی
با عضویت و پرداخت آنلاین حق اشتراک یکساله به مبلغ 1,390,000ريال میتوانید 70 عنوان مطلب دانلود کنید!
اشتراک سازمانی
به کتابخانه دانشگاه یا محل کار خود پیشنهاد کنید تا اشتراک سازمانی این پایگاه را برای دسترسی نامحدود همه کاربران به متن مطالب تهیه نمایند!
توجه!
- حق عضویت دریافتی صرف حمایت از نشریات عضو و نگهداری، تکمیل و توسعه مگیران میشود.
- پرداخت حق اشتراک و دانلود مقالات اجازه بازنشر آن در سایر رسانههای چاپی و دیجیتال را به کاربر نمیدهد.
In order to view content subscription is required
Personal subscription
Subscribe magiran.com for 70 € euros via PayPal and download 70 articles during a year.
Organization subscription
Please contact us to subscribe your university or library for unlimited access!