بازشناسی متون فارسی با استفاده از مدل زبانی n-gram و پالایش گرامری

بازشناسی متون، در سال های اخیر بسیار مورد توجه قرار گرفته است. ارائه الگوریتم های بازشناسی، برگرفته از ساختار گرامری و معنایی این زبان می تواند روش موثری در پردازش های دیگر مربوط به خط و زبان فارسی باشد. در این مقاله با استفاده از شاخه علمی پردازش زبان های طبیعی، یک الگوریتم سه مرحله ای به منظور بازشناسی متون فارسی بر مبنای بازشناسی جملات فارسی ارائه می شود. این روش شامل مراحل ترکیب زیرکلمات به منظور ساخت کلمات و سپس جملات بالقوه معنی دار و درنهایت استفاده از دو مدل زبانی و چند قاعده گرامری، به منظور تشخیص جمله صحیح براساس انطباق با گرامر زبان فارسی است.آزمایش های متعدد نشان می دهد که دقت روش ارائه شده برای مرحله ساخت کلمات و سپس جملات بالقوه معنی دار98 درصد و برای تشخیص جمله صحیح با استفاده از مدل زبانی بایگرام 85 درصد و برای مدل زبانی ترایگرام 88 درصد است.