مروری بر روش های شباهت سنجی متون کوتاه

مشابهت سنجی بین متون کوتاه یکی از نیازهای بنیادین در بسیاری از مسایل پردازش زبان طبیعی است؛ که باتوجه به اهمیت آن محققین کماکان به دنبال بهبود کیفیت الگوریتم های موجود هستند. در این مطالعه 150 مقاله بررسی شدند و دسته بندی جامعی برای روش های موجود ارایه شد. به طورکلی روش های ارایه شده را می توان در سه گروه دسته بندی کرد. گروه اول روش هایی که بر مشابهت لفظی تمرکز می کنند. در این روش ها متن به عنوان رشته ای از کاراکترها یا مجموعه ای از کلمات یا ترکیبی از این دو درنظر گرفته می شود. گروه دوم روش هایی هستند که به ارتباط معنایی کلمات نیز مبتنی بر پایگاه دانش یا تحلیل پیکره های متنی توجه دارند. در مطالعات اخیر از روش های یادگیری عمیق مبتنی بر ترنسفورمرها بهره برداری شده و نتایج حاکی از بهبود چشم گیر کیفیت  این روش هاست. گروه سوم به ترکیب روش های لفظی و معنایی و بعضا روش های تحلیل نحوی پرداخته اند. البته تحلیل گرهای نحوی باکیفیتی برای تمامی زبان ها نبوده و به کارگیری آن ها سرعت را نیز به مراتب کاهش می دهد.