الفهرسة في محركات البحث هي العملية التي تقوم من خلالها محركات البحث مثل Google و Bing و Yahoo بتجميع وتحليل وتخزين كميات هائلة من المعلومات من الويب، مما يمكنهم من تقديم نتائج البحث ذات الصلة لاستعلامات المستخدمين في غضون أجزاء من الثانية. إنه يشبه إنشاء كتالوج ضخم ومنظم للعالم الرقمي، مما يسمح للمستخدمين بالعثور بسرعة على الإبرة التي يضرب بها المثل في كومة القش.
بعد ما تعرفنا عن كيف تقوم محركات البحث بالزحف لموقعك في المقال السابق (نظرة عامة ، الزحف) من سلسلة كيف تعمل محركات البحث، دعونا الأن نتعرف ماذا يحدث بمجرد انتهاء محرك البحث من الزحف إلى الصفحة؟
لنلقي نظرة على عملية الفهرسة التي تستخدمها محركات البحث لتخزين المعلومات حول صفحات الويب، مما يتيح لها عرض نتائج ذات صلة عالية الجودة بسرعة.
{tocify} $title={ محتويات المقال }
لنلقي نظرة على عملية الفهرسة التي تستخدمها محركات البحث لتخزين المعلومات حول صفحات الويب، مما يتيح لها عرض نتائج ذات صلة عالية الجودة بسرعة.
{tocify} $title={ محتويات المقال }
ما هي الحاجة للفهرسة بواسطة محركات البحث؟
هل تذكر الأيام التي سبقت الإنترنت عندما كان عليك البحث في الموسوعات للبحث عن شيء ما ومعرفة المزيد عن العالم أو البحث في الصفحات الصفراء للحصول على عنوان شركة ما؟أحدثت محركات البحث ثورة في آلية الوصول للمعلومات، فأصبح المستخدم الأن يتوقع استجابات شبه فورية لاستعلامات البحث الخاصة به.
ما هي الفهرسة في محرك البحث؟
الفهرسة هي العملية التي تنظم (وترتب) بها محركات البحث المعلومات (والتي حصلت عليها من عمليات الزحف) ضمن صفحات نتائج محركات البحث SERPs.لتحديد مدى الصلة بين سؤال الباحث والنتائج المخزنة، تستخدم محركات البحث الخوارزميات، وهي عمليات أو صيغ يتم من خلالها استرداد المعلومات المخزنة وترتيبها بطرق ذات معنى.
ولقد مرت هذه الخوارزميات بالعديد من التغييرات على مر السنين من أجل تحسين جودة نتائج البحث. حيث تقوم Google بإجراء تعديلات دورية عليها.
النسخة المخبأة للصفحة
بالإضافة إلى فهرسة الصفحات ، قد تقوم محركات البحث أيضًا بتخزين نسخة نصية شديدة الضغط من المستند، والمستند المخبأ هو أحدث لقطة للصفحة التي شاهدها محرك البحث.يمكن الوصول إلى النسخة المخبأة للصفحة (في Google) من خلال النقر على السهم الأخضر الصغير بجوار عنوان URL لكل نتيجة بحث وتحديد الخيار المخبأ. بدلاً من ذلك ، يمكنك استخدام "ذاكرة التخزين المؤقت:" عامل تشغيل بحث Google لعرض النسخة المخبأة للصفحة.
يقدم Bing نفس الوسيلة لعرض النسخة المخبأة للصفحة عبر سهم أخضر لأسفل بجوار كل نتيجة بحث.
ما هي خوارزمية "PageRank"؟
"PageRank" هو خوارزمية Google سميت باسم المؤسس المشارك لـشركة Google وهو Larry Page ( معلومة جديدة ، أليس كذلك!😀 )، وهي قيمة لكل صفحة يتم حسابها عن طريق حساب عدد الروابط التي تشير إلى الصفحة من أجل تحديد قيمة الصفحة النسبية إلى كل صفحة أخرى على الإنترنت .تستند القيمة التي يمررها كل رابط فردي إلى عدد وقيمة الروابط التي تشير إلى الصفحة التي تحتوي على الرابط.
ملاحظة هامة جداً:
تعد خورازمية "PageRank" أحد الإشارات العديدة المستخدمة في خوارزمية ترتيب Google الكبيرة.
على الرغم من أن PageRank هو مصطلح في Google ، إلا أن جميع محركات البحث تحسب وتستخدم مقاييس مكافئة(لها خوارزميتها الخاصة).
تعد خورازمية "PageRank" أحد الإشارات العديدة المستخدمة في خوارزمية ترتيب Google الكبيرة.
على الرغم من أن PageRank هو مصطلح في Google ، إلا أن جميع محركات البحث تحسب وتستخدم مقاييس مكافئة(لها خوارزميتها الخاصة).
أهمية الروابط الخلفية
الروابط الخلفية هي عنصر أساسي في كيفية فهم محركات البحث لأهمية الصفحة. تم إجراء العديد من الدراسات والاختبارات لتحديد العلاقة بين الروابط الخلفية والتصنيفات.تظهر الأبحاث التي أجرتها Moz على الروابط الخلفية أن نتائج أفضل 50 استعلام بحث في Google (حوالي 15000 نتيجة بحث) ، 99.2٪ منها تحتوي على رابط خلفي خارجي واحد على الأقل.
علاوة على ذلك ، يقوم خبراء تحسين محركات البحث بتصنيف الروابط الخلفية باستمرار كواحد من أهم عوامل التصنيف في الاستطلاعات.
تذكر
لايهم كثر الروابط الخلفية، بقدر موثوقيتها.فـGoogle الأن يعلم ما هي الروابط التي تشير لمحتواك لأنه جيد، وما هي الروابط التي قمت بشرائها فاحذر.
كيف تقوم محركات البحث بعملية الفهرسة للموقع؟
تستخدم محركات البحث مثل Google "برامج الزحف" لاستكشاف المحتوى عبر الإنترنت وتصنيفه. برامج الزحف هذه عبارة عن روبوتات برمجية تتبع الارتباطات وتفحص صفحات الويب وتكتسب أكبر قدر ممكن من البيانات حول موقع ويب. بعد ذلك، يقومون بتسليم المعلومات إلى خوادم محرك البحث ليتم فهرستها.في كل مرة يتم فيها نشر المحتوى أو تحديثه، تقوم محركات البحث بالزحف إليه وفهرسته لإضافة معلوماته إلى قواعد البيانات الخاصة بهم. يمكن أن تحدث هذه العملية تلقائيًا، ولكن يمكنك تسريعها عن طريق إرسال خرائط مواقع إلى محركات البحث. تحدد هذه المستندات البنية الأساسية لموقعك على الويب، بما في ذلك الروابط، لمساعدة محركات البحث في الزحف إلى المحتوى الخاص بك وفهمه بشكل أكثر فعالية.
تعمل برامج الزحف لمحركات البحث على "ميزانية الزحف". تحدد هذه الميزانية عدد الصفحات التي ستقوم الروبوتات بالزحف إليها وفهرستها على موقع الويب الخاص بك خلال فترة زمنية محددة.
تقوم برامج الزحف بتجميع معلومات حول البيانات الأساسية مثل الكلمات المفتاحية وتواريخ النشر (راجع مقال: كيف تجد تاريخ نشر صفحة الويب على الإنترنت) والتعديل والصور وملفات الفيديو. كما أنها تقوم بتحليل العلاقة بين الصفحات والمواقع المختلفة من خلال متابعة وفهرسة الروابط الداخلية وعناوين URL الخارجية.
لاحظ أن برامج الزحف لمحركات البحث لن تتبع جميع عناوين URL على موقع الويب. سيقومون تلقائيًا بالزحف إلى روابط dofollow، متجاهلين الروابط ذات سماتnofollow. لذلك، يتوجب عليك التركيز على روابط dofollow في جهودك لبناء الروابط. هذه هي عناوين URL من مواقع خارجية تشير إلى المحتوى الخاص بك.
تقوم برامج الزحف بتجميع معلومات حول البيانات الأساسية مثل الكلمات المفتاحية وتواريخ النشر (راجع مقال: كيف تجد تاريخ نشر صفحة الويب على الإنترنت) والتعديل والصور وملفات الفيديو. كما أنها تقوم بتحليل العلاقة بين الصفحات والمواقع المختلفة من خلال متابعة وفهرسة الروابط الداخلية وعناوين URL الخارجية.
لاحظ أن برامج الزحف لمحركات البحث لن تتبع جميع عناوين URL على موقع الويب. سيقومون تلقائيًا بالزحف إلى روابط dofollow، متجاهلين الروابط ذات سماتnofollow. لذلك، يتوجب عليك التركيز على روابط dofollow في جهودك لبناء الروابط. هذه هي عناوين URL من مواقع خارجية تشير إلى المحتوى الخاص بك.
علاوة على ذلك، ضع في اعتبارك أن بعض المحتوى لا يمكن الزحف إليه بواسطة محركات البحث. إذا كانت صفحاتك مخفية خلف نماذج تسجيل الدخول أو كلمات المرور أو كان لديك نص مضمن في صورك، فلن تتمكن محركات البحث من الوصول إلى هذا المحتوى وفهرسته. (ومع ذلك، يمكنك استخدام نص بديل لإظهار هذه الصور في عمليات البحث بمفردها.)
ما هي أهم العوامل التي توثر على الترتيب في صفحة نتائج البحث؟
هناك العديد من العوامل التي تؤثر على ترتيب موقعك في صفحة نتائج محركات البحث، نذكر أهمها:- نسبة آمان الموقع
- سرعة الصفحة (بما في ذلك سرعة الصفحة المتحركة)
- التجاوب على أجهزة العرض المختلفة (موبايل، تاب ، لابتوب، شاشات كبيرة،...)
- عمر االنطاق
- جودة المحتوى
- تجربة المستخدم
- الروابط الخلفية
- الإشارات القادمة من وسائل التواصل الاجتماعي
4 أدوات في عملية الفهرسة
يمكنك استخدام العديد من الأدوات لتوجيه كيفية قيام Google ومحركات البحث الأخرى بالزحف إلى المحتوى الخاص بك وفهرسته. دعونا نلقي نظرة على بعض الخيارات الأكثر فائدة!1. خرائط المواقع Sitemaps
ضع في اعتبارك أن هناك نوعين من خرائط المواقع: XML و HTML. قد يكون من السهل الخلط بين هذين المفهومين لأنهما نوعان من خرائط المواقع التي تنتهي بـ -ML، لكنهما يخدمان أغراضًا مختلفة. خرائط مواقع HTML هي ملفات سهلة الاستخدام تسرد كل المحتوى الموجود على موقع الويب الخاص بك. على سبيل المثال، ستجد عادةً أحد ملفات sitemap هذه في تذييل الموقع.
يتيح ملف Sitemap هذا للزوار التنقل في موقع الويب الخاص بك بسهولة. يعمل كدليل عام، ويمكن أن يؤثر بشكل إيجابي على تحسين محركات البحث ويوفر تجربة مستخدم قوية (UX). في المقابل، تحتوي خريطة موقع XML على قائمة بجميع الصفحات الأساسية على موقع الويب الخاص بك. يمكنك إرسال هذا المستند إلى محركات البحث حتى تتمكن من الزحف إلى المحتوى الخاص بك وفهرسته بشكل أكثر فعالية.
يتيح ملف Sitemap هذا للزوار التنقل في موقع الويب الخاص بك بسهولة. يعمل كدليل عام، ويمكن أن يؤثر بشكل إيجابي على تحسين محركات البحث ويوفر تجربة مستخدم قوية (UX). في المقابل، تحتوي خريطة موقع XML على قائمة بجميع الصفحات الأساسية على موقع الويب الخاص بك. يمكنك إرسال هذا المستند إلى محركات البحث حتى تتمكن من الزحف إلى المحتوى الخاص بك وفهرسته بشكل أكثر فعالية.
2. Google Search Console
إذا كنت ترغب في تركيز جهود تحسين محركات البحث على Google، فإن Google Search Console هي أداة أساسية لذلك:يمكنك الوصول إلى تقرير الفهرس، والذي يخبرك بالصفحات التي تمت فهرستها بواسطة Google ويسلط الضوء على أي مشكلات أثناء العملية. يمكنك هنا تحليل عناوين URL التي بها مشكلات واستكشاف الأخطاء وإصلاحها لجعلها "قابلة للفهرسة". بعدها يمكنك أن تطلب من Google إعادة الزحف إلى عناوين URL وأجزاء معينة من موقعك بحيث تكون الموضوعات المحدثة متاحة دائمًا لجمهورك دون انتظار برامج الزحف من Google للعودة إلى موقعك.
3. محركات البحث البديلة
على الرغم من أن Google هو محرك البحث الأكثر شيوعًا، إلا أنه ليس الخيار الوحيد. تقييد نفسك على Google يمكن أن يغلق موقعك على حركة المرور من مصادر بديلة مثل Bing:نوصي بالاطلاع على أدلة حول إرسال خرائط مواقع XML إلى Bing Webmaster Tools و Yandex Webmaster Tools. للأسف، لا تمكّنك محركات البحث الأخرى، بما في ذلك Yahoo و DuckDuckGo، من إرسال خرائط مواقع. ضع في اعتبارك أن كل وحدة من وحدات التحكم هذه تقدم أدوات فريدة لمراقبة فهرسة موقعك وترتيبه في SERPs. لذلك، نوصي بتجربتها إذا كنت ترغب في توسيع استراتيجية تحسين محركات البحث الخاصة بك.
4. ملف Robots.txt
يمكنك استبعاد محتوى معين باستخدام ملف robots.txt. يتضمن ملف robots.txt معلومات فهرسة حول موقعك. يتم تخزينه في الدليل الجذر ويتكون من سطرين: سطر وكيل المستخدم الذي يحدد زاحف محرك البحث، وتوجيه عدم السماح الذي يحظر ملفات معينة.تحتاج ببساطة إلى إنشاء ملف نصي بسيط وتسميته robots.txt. بعد ذلك، أضف بيانات عدم السماح الخاصة بك وقم بتحميل الملف إلى الدليل الجذر الخاص بك باستخدام عميل بروتوكول نقل الملفات (FTP).
أخطاء الفهرسة الشائعة
في بعض الأحيان، يتعذر على Google فهرسة صفحة، ليس فقط لأنك قمت بتقييد فهرسة المحتوى ولكن أيضًا بسبب المشكلات التقنية على موقع الويب.فيما يلي المشكلات الخمس الأكثر شيوعًا التي تمنع محركات البحث من فهرسة صفحاتك.
المحتوى المكرر
يمكن أن يؤثر وجود نفس المحتوى على صفحات مختلفة من موقعك على الويب سلبًا على جهود التحسين لأن المحتوى الخاص بك ليس فريدًا. نظرًا لأن Google لا يعرف عنوان URL الذي يجب إدراجه في قائمة أعلى في SERP، فقد يصنف كلا عنواني URL في مرتبة أدنى ويعطي الأفضلية للصفحات الأخرى. بالإضافة إلى ذلك، افترض أن Google قررت أن المحتوى الخاص بك قد تم نسخه عن عمد عبر المجالات في محاولة للتلاعب بترتيب محرك البحث. في هذه الحالة، قد لا يفقد موقع الويب مركزًا فحسب، بل يمكن أيضًا حذفه من فهرس Google. لذلك، سيتعين عليك التخلص من المحتوى المكرر على موقعك.دعونا نلقي نظرة على بعض الخطوات التي يمكنك اتخاذها لتجنب مشاكل المحتوى المكرر:
- قم بإعداد عمليات إعادة التوجيه: استخدم عمليات إعادة التوجيه 301 لدمج الصفحات المتطابقة أو المتشابهة للغاية.
- العمل على هيكل الموقع: تأكد من عدم تداخل المحتوى (شائع مع المدونات والمنتديات). على سبيل المثال، قد يظهر منشور مدونة على الصفحة الرئيسية لموقع ويب وصفحة أرشيف.
- قلل المحتوى المماثل: إذا كان موقعك على الويب يحتوي على صفحتين أو أكثر بنص متطابق تقريبًا، فهذه مشكلة، وستحتاج إلى إصلاحها. إما دمج كل الصفحات في صفحة واحدة أو إنشاء محتوى فريد لكل منها. لاحظ أن استخدام محتوى معياري ضعيف يمكن أن يؤدي إلى أخطاء soft 404. على سبيل المثال، إذا كانت الصفحة تحتوي على محتوى جزئي من صفحات أخرى على الموقع، فقد يتم تمييزها على أنها خطأ soft 404 وتتم إزالتها من SERPs. أفضل رهان هو التخلص من هذه الصفحات الزائدة عن الحاجة لأنها تمثل إهدارًا لميزانية الزحف القيّمة لديك.
- استخدم العلامة المتعارف عليها: إذا كنت ترغب في الاحتفاظ بالمحتوى المكرر على موقع الويب الخاص بك ، توصي Google باستخدام عنصر الارتباط rel = ”canonical”. ما يفعله Canonical هو توجيه محركات البحث إلى الإصدار الرئيسي من الصفحة.
مشاكل رمز HTTP
هناك مشكلة أخرى قد تمنع الزحف إلى أي صفحة موقع ويب وفهرستها وهي مشكلة حالة HTTP. من المفترض أن تعرض صفحات أو ملفات أو روابط موقع الويب رمز الحالة 200. إذا قاموا بإرجاع رموز حالة HTTP أخرى، فقد يواجه موقع الويب الخاص بك مشكلات في الفهرسة والترتيب.مشاكل الربط الداخلي
تساعد الروابط الداخلية برامج الزحف على فحص مواقع الويب واكتشاف صفحات جديدة. حتى أنها تعمل على تسريع عملية الفهرسة. ومع ذلك، تظهر بعض المشكلات عندما تفتقر صفحات معينة على موقع الويب إلى روابط داخلية تشير إليها. في هذه الحالات، من غير المحتمل أن تعثر محركات البحث على هذه الصفحات المعزولة وفهرستها. بينما يمكنك معالجة هذا من خلال الإشارة إليها في خريطة موقع XML أو الحصول على روابط خارجية، لا ينبغي تجاهل الارتباط الداخلي.ملفات جافا سكريبت و CSS والصور المحظورة
للحصول على أفضل عرض وفهرسة، يجب أن تكون برامج الزحف قادرة على الوصول إلى ملفات JavaScript و CSS وملفات الصور. إذا لم تسمح بالزحف إلى هذه الملفات، فإنه يضر بشكل مباشر بفهرسة المحتوى الخاص بك.
للتأكد من وصول الزاحف إلى ملفات CSS وجافا سكريبت وملفات الصور، استخدم أداة فحص عنوان URL في GSC. توفر هذه الأداة إحصاءات قيمة حول إصدار Google المفهرس لصفحة معينة وتقدم لمحة عن كيفية رؤية Googlebot لموقعك على الويب.
صفحات بطيئة التحميل
من المهم التأكد من سرعة تحميل موقع الويب الخاص بك. لا تحب Google المواقع بطيئة التحميل. نتيجة لذلك، يتم فهرستها لفترة أطول. يمكن أن تكون أسباب ذلك مختلفة. على سبيل المثال، استخدام خوادم قديمة ذات موارد محدودة أو صفحات محملة بشكل زائد عن الحد بحيث يتعذر على متصفح المستخدم معالجتها.يمكنك قياس كل ذلك عن طريق استخدام أدوات ومنصات تتبع مثل:
SE Ranking
باستخدام SE Ranking، يمكنك إجراء تدقيق SEO لموقع الويب والعثور على معلومات حول الفهرسة. سترى رسمًا بيانيًا للصفحات المفهرسة وغير المفهرسة والنسبة المئوية وعددها. تعرض المنصة هذه أيضًا المشكلات التي لن تسمح لمحركات البحث بفهرسة صفحات موقع الويب. يمكنك عرض تقرير مفصل من خلال النقر على الرسم البياني.
تقدم أيضًا قائمة الصفحات المفهرسة ومعلماتها: رمز الحالة، المحظور بواسطة ملف robots.txt وصفحات الإحالة وعلامة x-robots والعنوان والوصف وما إلى ذلك. يمكنك أيضًا التحقق من فهرسة الصفحة باستخدام مدقق حالة الفهرس الخاص بـ SE Ranking. ما عليك سوى اختيار محرك البحث وإدخال قائمة عناوين URL.
بمجرد حل أي مشاكل في الفهرسة، يمكنك استخدام مدقق الترتيب لمراقبة أداء موقع الويب الخاص بك وتتبع التحسينات.
$ads={1}