تعیین مرز و نوع عبارات نحوی در متون فارسی

واحدسازی، از مهمترین مسائل در پردازش زبان های طبیعی است که عبارت است از فرایند تقسیم متن به واحدهای معنادار نظیر واژه، عبارت نحوی، جمله و غیره. واحدسازی گروه های نحوی یک متن، از جمله وظایف واحدسازی متن محسوب می شود که در بسیاری از کارهای پردازش زبان طبیعی، نظیر سیستم های ترجمه ی ماشینی، استخراج اطلاعات، پرسش وپاسخ و سیستم های تبدیل متن به گفتار، می تواند به عنوان پیش پردازشی مهم، حضور داشته باشد. واحدسازی عبارات نحوی، در هر زبان، متناسب با ویژگی های نوشتاری آن زبان دارای مشکلات و پیچیدگی هایی است. زبان فارسی به دلیل وجود رسم الخط های مختلف، جملات بدون ترتیب، افعال مرکب، ابهامات معنایی و عدم نمایش مصوت ها دارای مشکلاتی است. در این مقاله روشی مبتنی بر روش های آماری و یادگیری و اطلاعات و ویژگی های دستور زبانی جهت تشخیص مرز و نوع گروه های نحوی در متون فارسی فاقد علایم سجاوندی ارائه شده است که در آن از روش های یادگیری ماشین بردار پشتیبان و میدان تصادفی شرطی استفاده شده است. در روش ارائه شده ویژگی های مختلف زبانی استخراج و مورد بررسی قرار گرفته است. بهترین دقت به دست آمده توسط این سیستم، 02/84% بر اساس معیار F و 45/87%، بر اساس تعداد برچسب های صحیح به کل در تعیین مرز، و 04/78%، در تعیین مرز و نوع به صورت توام، بوده است..