{{htmlmetatags> 
metatag-description=(كل شيء تحتاج لمعرفته حول ملف robots.txt، كيفية إنشائه وكيفية استخدام للسماح أو منع روبوتات الزخف من زيارة صفحات موقعك الإلكتروني)

}}
{{ :ويكي-إدارة_المواقع.png?direct |}}

====== حول ملف robots.txt ======
ما هو ملف robots.txt؟ وكيف يتم إنشائه؟ وأين يتم وضعه؟ وما الغاية من استخدامه؟

===== ما هو ملف robots.txt؟ =====
هو عبارة عن ملف نصي يحتوي على تعليمات لروبوتات الزحف الخاصة بمحركات البحث. الهدف من هذه التعليمات إرشاد روبوتات الزحف على كيفية زيارة صفحات الموقع الإلكتروني.

===== كيف يتم إنشاء ملف robots.txt؟ =====
بكل بساطة قم بإنشاء أي ملف نصي. قم بتسمية هذا الملف robots.txt
\\
\\
 ومن ثم قم بوضع تعليمات التي توضح لروبوتات الزحف كيفية زيارة موقعك في داخل هذا الملف.

===== ما هي التعليمات التي يجب وضعها في ملف robots.txt؟ =====

 [[https://www.greengeeks.com/track/nawras/cp-stickyad4lwn|{{ :green-geeks-hosting.jpg }}]]

1- تحديد روبوتات الزحف التي تريد وضع قواعد زيارة صفحات الموقع لها.
<code>
User-agent: Googlebot
</code>
\\
من خلال كتابة التعليمة السابقة: قمتُ بالبدء بتحديد قواعد زيارة روبوت الزحف الخاص بالغوغل (Googlebot) 
\\
\\
أما في التعليمة التالية: قمتُ بالبدء بتحديد قواعد زيارة كل روبوتات الزحف على الإطلاق بوضع إشارة * بدلاً من اسم روبوت زحف محدد.
<code>
User-agent: *
</code>
\\
\\

2. السماح لروبوتات الزحف المحددة في الخطوة السابقة على زيارة كل أو بعض  صفحات الموقع الإلكتروني.
<code>
User-agent: *
Allow: /
</code>
\\
من خلال كتابة التعليمات السابقة: قمتُ بالسماح لكل روبوتات الزحف بزيارة كل صفحات موقعي (/).
\\
\\

<WRAP center round info 60%>
إشارة / تعني زيارة كل صفحات الموقع الإلكتروني.
</WRAP>
\\
\\
3. منع روبوتات الزحف المحددة في الخطوة الأولى من زيارة كل أو بعض صفحات الموقع الإلكتروني.
\\
في التعليمات التالية: قمتُ بتحديد قواعد الزيارة لكل روبوتات الزحف، كما إنني منعتها جميعاً من زيارة كل صفحات موقعي (/). بالتأكيد ليس من الجيد فعل ذلك، لأنّ ذلك سيمنع روبوتات الزحف من زيارة صفحات الموقع ومن ثم عدم أرشفتها من قبل محركات البحث، وبالتالي لن يزور موقعك أحد.

<code>
User-agent: *
Disallow: /
</code>

===== أمثلة على ملف robots.txt =====
1- ملف robots.txt في أي موقع: في التعليمات التالية تم السماح لكل روبوتات الزحف بزيارة كل صفحات الموقع دون أي استثناء.
\\
\\

<code>
User-agent: *
Allow: / 
</code>

\\
أيضاً يُمكن أن يتم التعليمات السابقة بالطريقة التالية عند وضع لا شيء بجانب تعليمة عدم السماح (Disallow):
\\
<code>
User-agent: *
Disallow: 
</code>
\\
\\
2. مثال لملف robots.txt في موقع ووردبريس: 
\\
\\
في التعليمات التالية: تم منع جميع روبوتات الزحف من زيارة كل ما بداخل مجلد ومسار wp-admin باستثناء ملف admin-ajax.php
<code>

User-agent:  *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

</code>

===== أين أضع ملف robots.txt؟ =====
يتم وضع ملف robots.txt في نفس المجلد الذي توجد فيه ملفات الموقع الإلكتروني. غالباً ما يكون مجلد public_html أو www أو html.