كيف تعمل محركات البحث: الزحف والفهرسة والتصنيف

محركات البحث هي آلات إجابات. إنهم موجودون لاكتشاف وفهم وتنظيم محتوى الإنترنت من أجل تقديم النتائج الأكثر صلة بالأسئلة التي يطرحها الباحثون.
لكي يظهر موقعك في نتائج البحث ، يجب أن يكون المحتوى الخاص بك مرئيًا أولاً لمحركات البحث. ويمكن القول أنه هذا الجزء هو أهم جزء من لغز تحسين محركات البحث، فإذا لم يتم العثور على موقعك ، فلا توجد طريقة لتظهر بها في صفحة نتائج محرك البحث (SERPs).

كيف تعمل محركات البحث؟

لمحركات البحث ثلاث وظائف أساسية:
  • الزحف Crawling
  • الفهرسة Indexing
  • التصنيف Ranking
فيما يلي نظرة سريعة عن هذه الوظائف:

ما هو الزحف Crawling؟

الزحف Crawling، هو عملية الاكتشاف التي ترسل فيها محركات البحث فريقًا من الروبوتات Googlebot (المعروفة باسم الزواحف Crawlers أو العناكب Spiders) للعثور على محتوى جديد ومحدث.
يمكن أن يكون المحتوى عبارة صفحة ويب أو صورة أو مقطع فيديو أو PDF ، إلخ.....
ويتم اكتشاف المحتوى عن طريق الروابط URL.

تبدأ الروبوتات Googlebot بجلب بعض صفحات الويب، ثم تتبع الروابط الموجودة على تلك الصفحات للعثور على عناوين URL جديدة. من خلال التنقل على مسار الروابط هذا ، يكون الزاحف قادرًا على العثور على محتوى جديد وإضافته إلى فهرسه المسمى Caffeine (قاعدة بيانات ضخمة لعناوين URL المكتشفة)، ليتم استرجاعها لاحقًا عندما يبحث الباحث عن معلومات تفيد بأن المحتوى الموجود على عنوان URL له صلة بعملية البحث المطلوبة.

من الممكن منع الروبوتاب (الزواحف أو العناكب) من الزحف واكتشاف جزء من موقعك أو  كل موقعك. حيث يمكنك توجيه محركات البحث لتجنب تخزين صفحات معينة في الفهرس الخاص بهم.
بينما يمكن أن تكون هناك أسباب للقيام بذلك، كالخصوصية والأمن وغيرها.
أما إذا كنت تريد أن يعثر الباحثون على محتواك ، يجب عليك أولاً التأكد من أنه يمكن الوصول إليه من قبل برامج الزحف وأنه قابل للفهرسة.


Web Spiders


ما هي الفهرسة Indexing؟

تقوم محركات البحث بمعالجة وتخزين المعلومات التي يجدونها ضمن الفهرس، وقاعدة بيانات ضخمة لجميع المحتوى الذي اكتشفوه، (و الذي يعتبرونه جيدًا بما يكفي لخدمة الباحثين).

يتضمن الفهرس جميع عناوين URL المكتشفة إلى جانب عدد من الإشارات الرئيسية ذات الصلة بمحتويات تلك العناوين المكتشفة، مثل:
  •  الكلمات المفتاحية التي اكتشفت داخل محتوى الصفحة - ما هي المواضيع التي تغطيها الصفحة؟ 
  • نوع المحتوى الذي يتم الزحف إليه - ما الذي يتم تضمينه في الصفحة؟ 
  • عدد مرات تحديث الصفحة -  كم مرة تم تحديث المحتوى ومتى أخر مرة؟ 
  • مشاركة المستخدم السابقة للصفحة  - كيف يتفاعل الأشخاص مع الصفحة؟

ما هو التصنيف (الترتيب) Ranking؟

عندما يُجري شخص ما عملية بحث ، تجوب محركات البحث فهرسها بحثًا عن محتوى وثيق الصلة بالموضوع ، ثم تطلب هذا المحتوى على أمل حل استعلام الباحث.
يُعرف ترتيب نتائج البحث حسب الصلة بالتصنيف أو الترتيب، وذلك باستخدام خوارزمية البحث (لكل محرك بحث خوارزميته الخاصة والسرية أيضاً في ترتيب النتائج).
بشكل عام ، يمكنك أن تفترض أنه كلما كان ترتيب الموقع أعلى في صفحة نتائج محركات البحث SERPs ، كلما كان محرك البحث يعتقد أنه أكثر ملاءمة بالاستعلام المطروح.

ما هو الهدف من خوارزمية محرك البحث؟

الهدف من خوارزمية محرك البحث هو تقديم مجموعة ذات صلة من نتائج البحث عالية الجودة والتي ستفي باستعلام / سؤال المستخدم في أسرع وقت ممكن.
ليحدد المستخدم خيارًا من قائمة نتائج البحث، وهنا تتعلم محركات البحث أن الخيار الذي اختاره المستخدم هو الأقرب لاسفساراته، والذي يمكن أن يؤثر على تصنيفات محرك البحث في المستقبل.

ماذا يحدث عندما يتم البحث؟

عندما يتم إدخال استعلام بحث في محرك بحث بواسطة المستخدم ، يتم تحديد جميع الصفحات التي تعتبر ذات صلة من الفهرس، ويتم استخدام خوارزمية لترتيب الصفحات ذات الصلة بشكل هرمي في مجموعة من النتائج.
تختلف الخوارزميات المستخدمة لترتيب النتائج الأكثر صلة بكل محرك بحث.
على سبيل المثال ، قد لا تحتل الصفحة التي تحتل مرتبة عالية في طلب البحث في Google، على مرتبة عالية في نفس الاستعلام في Bing .

بالإضافة إلى استعلام البحث ، تستخدم محركات البحث بيانات أخرى  لعرض النتائج وترتيبها ، بما في ذلك:
  • الموقع - تعتمد بعض طلبات البحث على الموقع ، مثل "المقاهي القريبة مني" أو "أوقات الأفلام". 
  • اللغة - ستعرض محركات البحث النتائج بلغة المستخدم ، إذا كان من الممكن اكتشافها.
  • محفوظات البحث السابقة - ستعرض محركات البحث نتائج مختلفة لاستعلام يعتمد على ما بحث عنه المستخدم سابقًا. 
  • الجهاز ونظام التشغيل - قد يتم إرجاع مجموعة مختلفة من النتائج بناءً على الجهاز الذي تم إجراء الاستعلام منه ونظام التشغيل (Windows - Mac OS - Linux - Android -....).

في علم تحسين محركات المحركات SEO، ليست كل محركات البحث متساوية.
يتساءل الكثير من المبتدئين عن الأهمية النسبية لمحركات بحث معينة.
يعرف معظم الناس أن Google تمتلك أكبر حصة في السوق ، ولكن ما مدى أهمية تحسين Bing و Yahoo وغيرها؟
 الحقيقة هي أنه على الرغم من وجود أكثر من 30 محرك بحث رئيسي على الويب ، فإن مجتمع تحسين محركات البحث يهتم فقط بـ Google. لماذا؟
الإجابة المختصرة هي أن Google هي المكان الذي يبحث فيه الغالبية العظمى من الأشخاص على الويب.
فإذا قمنا بتضمين صور Google وخرائط Google و YouTube (أحد مواقع Google) ، فسيتم إجراء أكثر من 90٪ من عمليات بحث الويب على Google - أي ما يقرب من 20 مرة من عمليات البحث التي تتم على Bing و Yahoo مجتمعين.

لماذا قد لا تتم فهرسة الصفحة؟

هناك عدد من الظروف التي لا تتم فيها فهرسة عنوان URL بواسطة محرك بحث. أهمها:
  • استثناءات ملف Robots.txt - ملف يخبر محركات البحث بما يجب ولا يجب زيارته على موقعك. 
  • توجيهات على صفحة الويب تطلب من محركات البحث عدم فهرسة هذه الصفحة (noindex tag) أو فهرسة صفحة أخرى مماثلة (canonical tag) .
  • حكم خوارزميات محركات البحث على أن هذه الصفحة ذات جودة منخفض ، كأن يكون المحتوى قليل جداً أو مكرر . 
  • عنوان URL الذي يعرض صفحة خطأ (على سبيل المثال ، رمز استجابة HTTP 404 غير موجود ).

هل ترغب بتعلم المزيد عن محركات البحث؟

اترك تعليقاً

أحدث أقدم