حول ملف robots.txt

ما هو ملف robots.txt؟ وكيف يتم إنشائه؟ وأين يتم وضعه؟ وما الغاية من استخدامه؟

هو عبارة عن ملف نصي يحتوي على تعليمات لروبوتات الزحف الخاصة بمحركات البحث. الهدف من هذه التعليمات إرشاد روبوتات الزحف على كيفية زيارة صفحات الموقع الإلكتروني.

بكل بساطة قم بإنشاء أي ملف نصي. قم بتسمية هذا الملف robots.txt

ومن ثم قم بوضع تعليمات التي توضح لروبوتات الزحف كيفية زيارة موقعك في داخل هذا الملف.

1- تحديد روبوتات الزحف التي تريد وضع قواعد زيارة صفحات الموقع لها.

User-agent: Googlebot

من خلال كتابة التعليمة السابقة: قمتُ بالبدء بتحديد قواعد زيارة روبوت الزحف الخاص بالغوغل (Googlebot)

أما في التعليمة التالية: قمتُ بالبدء بتحديد قواعد زيارة كل روبوتات الزحف على الإطلاق بوضع إشارة * بدلاً من اسم روبوت زحف محدد.

User-agent: *

2. السماح لروبوتات الزحف المحددة في الخطوة السابقة على زيارة كل أو بعض صفحات الموقع الإلكتروني.

User-agent: *
Allow: /

من خلال كتابة التعليمات السابقة: قمتُ بالسماح لكل روبوتات الزحف بزيارة كل صفحات موقعي (/).

3. منع روبوتات الزحف المحددة في الخطوة الأولى من زيارة كل أو بعض صفحات الموقع الإلكتروني.
في التعليمات التالية: قمتُ بتحديد قواعد الزيارة لكل روبوتات الزحف، كما إنني منعتها جميعاً من زيارة كل صفحات موقعي (/). بالتأكيد ليس من الجيد فعل ذلك، لأنّ ذلك سيمنع روبوتات الزحف من زيارة صفحات الموقع ومن ثم عدم أرشفتها من قبل محركات البحث، وبالتالي لن يزور موقعك أحد.

User-agent: *
Disallow: /

1- ملف robots.txt في أي موقع: في التعليمات التالية تم السماح لكل روبوتات الزحف بزيارة كل صفحات الموقع دون أي استثناء.

User-agent: *
Allow: / 

أيضاً يُمكن أن يتم التعليمات السابقة بالطريقة التالية عند وضع لا شيء بجانب تعليمة عدم السماح (Disallow):

User-agent: *
Disallow: 

2. مثال لملف robots.txt في موقع ووردبريس:

في التعليمات التالية: تم منع جميع روبوتات الزحف من زيارة كل ما بداخل مجلد ومسار wp-admin باستثناء ملف admin-ajax.php

User-agent:  *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

يتم وضع ملف robots.txt في نفس المجلد الذي توجد فيه ملفات الموقع الإلكتروني. غالباً ما يكون مجلد public_html أو www أو html.