تحسين محركات البحث: مشكلات الزحف

كي يظهر موقعك الإلكتروني في نتائج محركات البحث (SERPs)، يجب أن يتمكن Google من الزحف إلى المحتوى الخاص بك وفهرسته.
وعندما يتعذر عليه الزحف إلى الصفحة بشكل صحيح أو الانتقال من صفحة إلى أخرى ،  يتعذر عليه أيضاً فهرسة المحتوى. وتُعرف هذه الحالات بأخطاء الزحف.

محتويات المقال:

• ما المقصود بأخطاء الزحف؟
• أخطاء الموقع
• أخطاء URL

ما المقصود بأخطاء الزحف؟

أخطاء الزحف هي المشكلات التي تواجه محركات البحث أثناء محاولتها الوصول إلى صفحاتك. وتمنع هذه الأخطاء روبوتات محرك البحث من قراءة المحتوى الخاص بك وفهرسة صفحاتك

أنواع أخطاء الزحف:

تقسم الأخطاء التي تواجه زواحف محركات البحث إلى قسمين رئيسين:

• أخطاء الموقع (Site Errors): تمنع هذه الأخطاء روبوتات محركات البحث (Googlebot)  من الوصول إلى موقع الويب الخاص بك بالكامل .
• أخطاء العناوين (URL Errors): تحدث هذه الأخطاء عندما يتعذر على روبوتات محركات البحث (Googlebot) الوصول إلى عنوان URL معين.

أين أجد هذه الأخطاء في Google Search Console؟

في Google Search Console الإصدار الجديد، يتم الإبلاغ عن هذه الأخطاء على أساس عنوان URL  في في قسم (Index Coverage report).
وتقسم العناوين ضمن هذا التقرير وفق ما يلي:

• الأخطاء التي واجهت زواحف محركات البحث (Errors)
• الصفحات الصالحة التي فهرستها جوجل (Valid)
• الصفحات التي صادفتها Google ولكن لم تتم فهرستها (Exclude)
• الصفحات الصالحة التي قامت Google بفهرستها ولكن وجدت بعض فيها بعض الأخطاء (Valid with Errors)

أخطاء الموقع

أخطاء الموقع هي مشكلات تحدث على مستوى الموقع بالكامل.
أخطاء الموقع تعني أن المستخدمين و Google غير قادرين على الوصول إلى أي من صفحاتك.
لذا من الهام جداً أن تتخطى هذه الأخطاء.

أخطاء المجال (DNS Error):

الـDNS، والذي يعني "نظام اسم المجال"، وظيفته هو ترجمة عنوان IP لموقع الويب من سلسلة من الأرقام إلى أحرف وأرقام قابلة للاستخدام.
بشكل أساسي ، فإن DNS هو الذي يسمح لنا بالتصفح عبر الإنترنت دون الحاجة إلى معرفة عنوان IP لكل موقع ويب تريد زيارته.

هناك نوعان من أخطاء DNS التي تصادفها Google:

DNS timeout: لم يستجب خادم DNS الخاص بك لطلب Google بسرعة كافية.
DNS lookup: لم تتمكن Google من الوصول إلى موقع الويب الخاص بك لأن خادم DNS الخاص بك لم يتمكن من العثور على اسم المجال الخاص بك.

أخطاء المخدم (Server Errors):

تختلف أخطاء المخدم (Server Errors)  عن أخطاء المجال (DNS Error) .
فأخطاء المخدم تعني أن Google كانت قادرة على البحث عن عنوان URL الخاص بك.
ومع ذلك ، لا يمكن تحميل الصفحة بسبب مشكلة في الخادم.
هذا يعني عادةً أن خادمك يستغرق وقتًا طويلاً للاستجابة وانتهاء مهلة طلب Google. وهو مقدار معين من الوقت فقط لانتظار استجابة الخادم.
مثل أخطاء المجال DNS ، يعد خطأ الخادم مشكلة كبيرة لموقعك على الويب. هذا يعني أن هناك خطأ ما في خادمك يمنع المستخدمين والروبوتات (Googlebot) من الوصول إلى موقع الويب الخاص بك. وتعتمد كيفية إصلاح خطأ الخادم على نوع الخطأ.

هناك العديد من أخطاء المخدم التي قد تصادفها زواحف Google:

• المهلة (Timeout): استغرق الخادم وقتًا طويلاً للاستجابة لطلب Googlebot.
• رؤوس مقطوعة (Truncated headers): أغلق الخادم اتصاله قبل إرسال الـheader.
• إعادة تعيين الاتصال (Connection reset): تمكنت Google من الاتصال بموقعك، لكنها لم تتلق أي شيء لأنه تم إعادة تعيين الاتصال في منتصف الاستجابة.
• استجابة مقطوعة (Truncated response): تم إنهاء الاتصال قبل تلقي Google استجابة كاملة.
• تم رفض الاتصال(Connection refused): رفض خادمك الاتصال بـ Googlebot.
• فشل الاتصال(Connect failed): كانت شبكة الخادم معطلة أو يتعذر الوصول إليها.
• مهلة الاتصال (Connect timeout): استغرق الاتصال الكثير من المعالجة.
• لا رد (No response): تم إنهاء الاتصال بخادمك قبل أن يتم إرسال أي رد.

فشل الروبوتات:

يشير إخفاق برامج الروبوت إلى عدم قدرة Google على العثور على ملف robots.txt  الخاص بموقع الويب وقراءته على www.yoursite.com/robots.txt.
لا يريد Google الزحف إلى أي صفحات لا تريدها وفهرستها، ولذلك ملف robots.txt هام جداً.
فإذا لم تتمكن زواحف محركات البحث من الوصول إلى ملف robots.txt ، فإنه سيؤجل الزحف حتى يتمكن من قراءة الملف.
تجدر الإشارة إلى أن عدم وجود ملف robots.txt أفضل من وجود ملف غير صحيح ، لأن ملف robots.txt المعطل سيتسبب في تجنب Google للزحف إلى موقعك تمامًا.

أخطاء العناوين

تختلف أخطاء عناوين URL عن أخطاء الموقع من حيث أنها تنطبق فقط على الصفحة المحددة ، وليس موقعك بشكل عام.

صفحات 404 الناعمة (soft 404)

قد يكون الاسم "soft 404" مضللًا إلى حد ما بالنسبة للبعض.
هذه ليست صفحات غير موجودة، وتعرض الرمز  404، ولكنها صفحات فارغة من المحتوى في الغالب.
فـGoogle جيدة جدًا في العثور على مكان المحتوى على الصفحة. لذلك عندما يحتوي عنوان URL على صفحة لا تحتوي على الكثير أو أي "محتوى رئيسي"، فإنه يطلق عليها "404 soft".
من الناحية الفنية، فإن الصفحة موجودة، ولكنها صفحة فارغة أو شبه فارغة.
يلاحظ Google أن هذه الصفحات ليست مفيدة جدًا للمستخدمين ، فهي تجعل Googlebot يعمل بدون سبب ويقلل من كفاءة الزحف.
أفضل الحلول هو إما إضافة محتوى إلى هذه الصفحات لجعلها مفيدة أو استثناؤها من الفهرسة بحيث لا يراها Google .
لاحظ أنه إذا كنت تستخدم صفحة 404 مخصصة لا تعرض حالة 404 ، فمن المحتمل أن تلاحظها Google على أنها صفحة 404 ناعمة.

صفحات 404 (Not found)

عناوين URL التي لا يتم العثور عليها هي أخطاء 404 الفعلية، التي وجدتها زواحف محركات البحث على موقع الويب.

يعتمد حل مشكلة ظهور صفحات 404 على السبب، فيمكن أن يكون الأمر بسيطًا مثل إصلاح الأخطاء الكتابية في الروابط.

تم الرفض (Access denied)

تحدث هذه الأخطاء عندما لا يُسمح لـ Google بالوصول إلى صفحة معينة. عادة ما تنتج عن:

• حماية الصفحة بكلمة مرور
• الصفحات التي لا يسمح بها ملف robots.txt

يمكن أن يكون لكثير من أخطاء الزحف تأثير على كيفية عرض Google لصحة موقعك على الويب بشكل عام.
فعندما تواجه روبوتات زحف Google الكثير من المشاكل في الوصول إلى محتوى الموقع ، يمكنهم أن يقرروا أن هذه الصفحات لا تستحق الزحف في كثير من الأحيان.
وسيؤدي هذا إلى عدم فهرسة صفحاتك وظهورها في نتائج محركات البحث.

هل ترغب في تعلم المزيد من المهارات؟

تزودك هذه المدونة بالمهارات التي تحتاجها للحصول على مسيرة مهنية ناجحة؛ وهذه مجرد واحدة من العديد من الأدوات والموارد التي ستجدها هنا في Digital Age.
لا تنسى أن تشترك في قائمتنا البريدية المجانية ، ليصلك كل جديد يسهم في تطوير حياتك المهنية!