پاکسازی و یکسان‌سازی نام فارسی در مقیاس عملیاتی

۱. مقدمه و دامنه

مجموعه‌های فارسی بزرگ شکل‌های سطحی متعدد از یک موجودیت واقعی دارند. نام شخص، سازمان و شهر با گونه‌های نویسه، نیم‌فاصله، ترتیب معکوس و القاب می‌آیند. تطبیق خام رشته‌ای هزینهٔ تکراری و اشتباه لینک ایجاد می‌کند.

این طرح خط لولهٔ تولید را توصیف می‌کند: پاکسازی قطعی، کلید مسدودسازی آوایی، امتیاز سبک، و مدل معنایی فقط برای جفت‌های باقی‌مانده.

۲. لایه‌های نرمال‌سازی

قبل از هر تطبیق، شکل سطحی باید به شکل کانونی برسد.

۳. کلید مسدودسازی

مسدودسازی نامزدها را قبل از امتیازدهی گران کم می‌کند.

1. اسکلت آوایی: ادغام حروف هم‌آوا در فارسی
2. اثرانگشت توکن مرتب‌شده: ترتیب اجزای نام را خنثی می‌کند
3. کلید ترکیبی استان و شهر پس از نرمال‌سازی مکان

خط لوله از دادهٔ خام تا پیوند با اطمینان بالا

۴. امتیازدهی سبک

روی جفت‌های داخل بلوک، امتیاز سریع قبل از مدل سنگین.

۵. مدل معنایی برای باقی‌مانده

فقط جفت‌هایی که امتیاز قطعی نگرفتند به لایهٔ معنایی می‌روند.

همان شخص، شکل‌های سطحی متفاوت

۶. مکان و شهر

نام شهر و استان نیز گونه و املای متعدد دارند. همان لایه‌های نرمال‌سازی و مسدودسازی روی مکان اعمال می‌شود تا پیوند مخاطب به منطقه پایدار بماند.

۷. یکپارچگی عملیاتی

خروجی غنی‌شده قبل از صف پیامک قرار می‌گیرد: وضعیت اپراتور، منطقه، و عدم‌مزاحمت. شمارهٔ مرده یا مسدود نباید به درگاه برسد.

۸. معیارهای عملی

کاهش حجم ذخیره، افزایش سرعت استعلام، و کاهش هزینهٔ ارسال به شمارهٔ بی‌پاسخ از خروجی‌های قابل اندازه‌گیری این خط لوله‌اند.

گونه‌های شهر به شکل کانونی

۹. نتیجه

• نرمال‌سازی قطعی قبل از هر مدل
• مسدودسازی آوایی و اثرانگشت برای کاهش نامزد
• امتیاز سبک؛ مدل معنایی فقط برای باقی‌مانده
• غنی‌سازی بالادست درگاه پیامک

هدف: بیشینهٔ پیوند خودکار با اطمینان بالا و مجموعهٔ باقی‌ماندهٔ فشرده برای بازبینی.