معالجة النصوص

النصوص الحقيقية غير مرتّبة، ففيها مسافات زائدة وعلامات ترقيم ملتصقة بالكلمات، والحاسوب يرى Python وpython كلمتين مختلفتين. لذلك يمرّ النصّ قبل العدّ بثلاث خطوات: توحيد الحروف، ثم التنظيف، ثم التقسيم.

تبدأ بالتوحيد عن طريق .lower()، وهي لا تغيّر الحروف العربية لأنها ليس فيها كبير وصغير، لكنها توحّد ما يختلط بها من الحروف اللاتينية. ثم تنظّف النصّ بـ re.sub(r"[^\w\s]", " ", text)، فيصير كل ما ليس حرفًا أو رقمًا (\w) أو مسافة (\s) مسافةً. وأخيرًا تقسّمه بـ .split() بقوسين فارغين، فتقسم على أي عدد من المسافات وتتجاهل المسافات في الطرفين كما تفعل .strip()، أما .split(" ") فتُرجع نصوصًا فارغة بين كل مسافتين.

وهناك فخّ مع العربية، فـ string.punctuation لا تحوي إلا علامات الترقيم الإنجليزية، وليس فيها «،» ولا «؟» ولا «؛»، فمن يحذف العلامات بها تبقى عنده «ممتازة،» و«ممتازة» كلمتين مختلفتين. أما \w فتعرف الحروف العربية، ولهذا إذا حذفت كل ما ليس حرفًا أو رقمًا ذهبت العلامات كلّها.