تشابه النصوص: سبعة مقاييس جنبًا إلى جنب

ما تشابه النصوص؟

تشابه النصوص رقم يقول كم تتشابه سلسلتان، ويُقاس عادةً بحيث يعني الواحد التطابق والصفر انعدام أي قدر مشترك. وهو ما يقوم عليه البحث التقريبي، وتنظيف المكرّرات من قائمة عملاء، والتقاط خطأ مطبعي في رمز منتج، ومطابقة اسم كتبه إنسان باسم مخزَّن في قاعدة بيانات.

والمشكلة أنه لا يوجد تعريف واحد. فليفنشتاين يعدّ كم تعديلًا بمحرف واحد يفصل بينهما، وجارو يعدّ المحارف المتطابقة ومقدار اختلال ترتيبها، أما دايس وجاكار فيتجاهلان الموضع تمامًا ويقارنان مجموعات من أزواج الحروف المتجاورة، وتسأل أطول متتالية جزئية مشتركة كم يبقى من إحدى السلسلتين داخل الأخرى بالترتيب. هذه أسئلة مختلفة، وتعطي أجوبة مختلفة.

تحسب هذه الصفحة سبعة منها دفعةً واحدة بدل أن تختار لك واحدًا، لأن الاختيار هو القرار الحقيقي، وهو يُتّخذ في الغالب من غير قصد.

طريقة الاستخدام

1. ضع سلسلتين في الحقلين الأعلى. تعطي كل المقاييس درجةً للزوج فورًا، مع عدد التعديلات الخام إلى جانب المقياسين القائمين على المسافة.
2. ثم جرّب لوحة الترتيب. أعطها ما تبحث عنه وقائمة مرشحات، واحدة في كل سطر. فيرتّب كل مقياس القائمة وحده ويعلن فائزه.
3. وراقب اختلاف الفائزين. يعدّ السطر أسفل ذلك الجدول كم جوابًا مختلفًا خرج من قائمة واحدة. وحين يقول أكثر من واحد، يكون المقياس الذي كنت ستختاره قد أدّى عملًا حقيقيًّا.

مقدار الاختلاف، مقيسًا

وليس هذا قلقًا نظريًّا. فبأخذ شيفرة هذا الموقع نفسها مدوّنةً، وسحب ثلاثيات عشوائية من المعرِّفات المكتوبة بأسلوب camelCase، يضع ليفنشتاين وجارو-وينكلر المرشحتين نفسيهما في ترتيب مختلف بنسبة 27.7 بالمئة عبر 3479 زوجًا. وأمام مقياس راتكليف/أوبرشيلب الذي تستعمله مكتبة difflib في بايثون، يختلف ليفنشتاين بنسبة 25.5 بالمئة.

والأثر أسوأ في الحالة التي يبنيها الناس فعلًا: اختيار أقرب تطابق من قائمة. فبالاختيار من مجموعة قوامها 400 مرشحة، سمّى ليفنشتاين وجارو-وينكلر فائزًا مختلفًا في 62 بالمئة من الاستعلامات. غير أن هذا الرقم يتوقف على حجم المجموعة، فاعتبر 27.7 بالمئة العنوان الأمين، وهذا بيانًا للاتجاه الذي يتحرك فيه.

والمثال المحمَّل افتراضيًّا هو الحالة الكلاسيكية: ابحث عن الخطأ recieve بين receive وrelieve وreprieve وretrieve وrecipe. يفضّل ليفنشتاين المجرَّد كلمة relieve لأنها على بُعد استبدال واحد، بينما receive على بُعد تعديلين، إذ انقلب ترتيب الحرفين ولا يعرف ليفنشتاين شيئًا اسمه الانقلاب. أما داميراو-ليفنشتاين، الذي يعدّ تبديل محرفين متجاورين تعديلًا واحدًا، فيعطي receive وrelieve الدرجة نفسها 0.857 ويختار أولاهما. ويضع جارو-وينكلر receive في الصدارة وحدها بدرجة 0.967. ثلاثة سلوكيات من قائمة واحدة، وواحد منها فقط يعطيك الكلمة التي قصدتها.

أيها ينبغي أن تستعمل؟

لأخطاء الطباعة البشرية يكون داميراو-ليفنشتاين عادةً خيارًا افتراضيًّا أفضل من ليفنشتاين المجرَّد، لأن قلب حرفين من أشيع الأخطاء وليفنشتاين يحاسب عليه مرتين. وللأسماء صُمّم جارو-وينكلر لهذه المهمة بعينها في مكتب التعداد الأمريكي، ومكافأته على البادئة تعكس أن الناس يصيبون أول الاسم أكثر بكثير من آخره.

وللنصوص الأطول التي تتنقل فيها كلمات كاملة تكون مقاييس المجموعات أفضل. فدايس وجاكار يقارنان أكياسًا من أزواج الحروف المتجاورة، فلا تهمّهما إعادة الترتيب كثيرًا، وهما يرتّبان تطابقًا؛ غير أن جاكار يعطي دائمًا درجة أدنى للزوج نفسه، وهو ما يفاجئ من يقارن عتبات منقولة عن مصادر مختلفة.

والتعميم الأمين الوحيد أن العتبة غير قابلة للنقل. فحدّ 0.8 يعني شيئًا مختلفًا تمامًا مع جاكار عنه مع جارو-وينكلر، وللزوج MARTHA وMARHTA المحمَّل أعلاه تتراوح الدرجات بين 0.250 و0.961 بحسب المقياس الذي تسأله. وأي عتبة ترثها عن تدوينة فهي ملتصقة بمقياس بعينه، والمقياس لا يُذكر في الغالب.

ما لا تستطيع هذه الصفحة إخبارك به

لا يفهم أي من هذه المقاييس المعنى. فكلمتا «قط» و«سنّوري» تنالان درجة تقارب الصفر، بينما تنال colour وcolor درجة عالية. وإن كنت تحتاج معرفة أن جملتين تقولان الشيء نفسه بألفاظ أخرى، فتشابه السلاسل أداة خاطئة تمامًا، ولن تنقذه أي عتبة.

وهي أيضًا قائمة على المحارف، والمحرف هنا يعني نقطة ترميز لا ما تسمّيه أنت حرفًا. وهذا يصلح الخلل الشائع الذي يجعل الإيموجي يُعدّ محرفين ويجعل إيموجيين مختلفين على بُعد تعديلين، لكنه يقف دون عناقيد الحروف الرسومية: فالعَلَم أو الإيموجي بلون بشرة يظل عدة نقاط ترميز، والتعريفات الكلاسيكية لهذه المقاييس لا تتناول ذلك.

وأخيرًا، تحسم لوحة الترتيب التعادل بترتيب الإدخال: فإذا تساوت مرشحتان فازت الأعلى في قائمتك، وهذه خاصية لهذه الأداة لا للمقياس. والدرجات معروضة لتلاحظ متى وقع ذلك.

لماذا هي مجانية؟

المقاييس السبعة بضع عشرات من أسطر الحساب تعمل داخل متصفحك. لا يُرفع شيء مما تكتبه، ولا يُسجَّل شيء، ولا حساب عليك إنشاؤه.

بلا تسجيل، وبلا حدود، وبلا علامة مائية على أي شيء تنسخه.