حل مشكل الأرشفة و تصدر محركات البحث

ملف Robots.txt باختصار :

بدون أي كلام زائد الروبوت تكست هو ملف يحتوي ملف robots.txt على توجيهات لمحركات البحث. يمكنك استخدامه لمنع محركات البحث من الزحف إلى أجزاء معينة من موقع الويب الخاص بك ولإعطاء محركات البحث نصائح مفيدة حول كيفية الزحف إلى موقعك على الويب بشكل أفضل. يلعب ملف robots.txt دورًا كبيرًا في تحسين محركات البحث.

عند تركيب ملف robots.txt ، ضع في اعتبارك الممارسات التالية:

كن حذرًا عند إجراء تغييرات على ملف robots.txt الخاص بك: هذا الملف يمكن أن يجعل أجزاء كبيرة من موقع الويب الخاص بك غير قابلة للوصول لمحركات البحث.
يجب أن يتواجد ملف robots.txt في جذر موقع الويب الخاص بك مثل (http://www.qawa3id.com/robots.txt).
ملف robots.txt صالح فقط للمجال الكامل الذي يوجد عليه ، بما في ذلك البروتوكول (http أو https).
تفسر محركات البحث المختلفة التوجيهات بشكل مختلف. بشكل افتراضي ، يحصل التوجيه المطابق الأول دائمًا. ولكن ، مع Google و Bing ، يستحسن التحديد.
تجنب استخدام أمر تأخير الزحف لمحركات البحث قدر الإمكان.

حسنا هذا مجرد معلومات تعرفك على ملف الروبوت و الsitemap إذا كنت لا تهتم بجمع المعلومات أو تعرفها من قبل يمكنك إتباع الخطوات في الأسفل لكني أنصحك بقرائتها قد تفيدك في المستقبل.

لماذا يجب أن تهتم بملف robots.txt؟

يلعب ملف robots.txt دورًا أساسيًا من وجهة نظر تحسين محركات البحث.حيث تخبر محركات البحث كيف يمكنها الزحف إلى موقعك على الويب بشكل أفضل.
باستخدام ملف robots.txt ، يمكنك منع محركات البحث من الوصول إلى أجزاء معينة من موقع الويب الخاص بك ، ومنع المحتوى المكرر وإعطاء محركات البحث نصائح مفيدة حول كيفية الزحف إلى موقع الويب الخاص بك بشكل أكثر كفاءة.
كن حذرًا عند إجراء تغييرات على ملف robots.txt الخاص بك على الرغم من ذلك: هذا الملف يمكن أن يجعل أجزاء كبيرة من موقع الويب الخاص بك غير قابلة للوصول لمحركات البحث.

الآن ركز معي رجاءا.

1_الخطوة الأولى : إضافة ملف الروبوت في إعدادت المدونة:

أ- أدخل على المدونة التي تريد تعديلها.

ب- إضغط على بوابة الإعدادات في القائمة الجانبية.

ج-ستظهر لك قائمة منسدلة إضغط على إعدادات البحث.

د-ثم إختر "ملف robots.txt مخصص"و انسخ الملف التالي:

ملفRobots.txt:

User-agent: *


Disallow: /p/www.html


Disallow: /2020/05/10.html

 Disallow: /p/blog-page_10.html

 Disallow: /search

Allow: /

 Allow: /ads.txt 

Sitemap: https://www.qawa3id.com/sitemap.xml

ملفات Sitemap:

rss.xml

feeds/posts/default

atom.xml?redirect=false&start-index=1&max-results=100

atom.xml

sitemap.xml

د- غير الكتابات المظللة بالأصفر(روابط الصفحات الثابتة مثل سياسة الخصوصية ومن نحن ،تمنعها من الأرشفة لأنها تجعل الأرشفة بطيئة) بالروابط الخاصة بك كالتالي:

https://www.qawa3id.com/p/www.html

يمكنك أن تلاحظ أنني أخذت الجزء بعد علامة"/" فقط

"https://www.qawa3id.com/ "p/www.html

بالنسبة لل Disallow: /search و البقية دعها كما هي ( تحظر أرشفة صفحات التصنيفات والتي تبطئ من سرعة الأرشفة أيضا)