مروری بر برچسب گذاری واژگانی زبان هایی با صورت نوشتاری لاتین و غیرلاتین: نگاهی مبسوط بر زبان فارسی

مقاله حاضر، به بررسی جامع موضوع برچسب‌گذاری واژگانی صورت نوشتاری زبان‌های لاتین و غیرلاتین به ویژه زبان فارسی می‌‌پردازد. در این نوشتار میزان پیشرفت برچسب‌گذاری واژگانی در بیست و سه زبان گفتاری دنیا، که دارای بیشترین متکلم می‌باشند، مورد بررسی قرار می‌گیرد. برخی از این زبان‌ها مثل زبان‌های عربی، اردو و فارسی از سیستم نوشتاری از راست به چپ پیروی می‌کنند، و در نوع خود با مشکلات و چالش‌هایی در زمینه برچسب‌گذاری واژگانی روبرو هستند. این چالش‌ها می‌تواند منحصر به یک زبان خاص باشد و یا در بین زبان‌های گوناگون مشترک باشند، که به برخی از آن‌ها اشاره خواهیم کرد. در این مقاله، با مروری نقادانه بر مطالعات اخیر در حیطه برچسب‌گذاری واژگانی، چالش‌های پیش روی زبان فارسی مد نظر قرار گرفته شده است. با مرور تحقیقات پیشین و مطالعه ویژگی‌ها، مسایل، چالش‌ها و ابزارهای برچسب‌گذاری واژگانی، این نتیجه حاصل می‌شود که، چالش‌های برچسب‌گذاری واژگانی در زبان فارسی بیشتر در سطح توکن‌سازی و مربوط به شرایط رسم الخط عربی است.