يتفاعل كل روبوت زاحف لمحرك البحث أولاً مع ملف robots.txt الخاص بموقع الويب وقواعده الزاحفة، هذا يعني أن ملف robots.txt يلعب دورًا محوريًا في تحسين محرك البحث (SEO) لمدونة بلوجرو سنشرح في هذه المقالة كيفية إنشاء ملف robots.txt مخصص و محسن جيدًا لبلوجر وكيفية فهم الآثار المترتبة على الصفحات المحظورة التي أبلغت عنها أداة مشرفي المواقع Google Search Console.
ما هي وظائف ملف robots.txt ؟
يتصل ملف robots.txt بمحرك البحث بالصفحات التي يجب ولا ينبغي الزحف إليها، و هذا يسمح لنا بالتحكم في عمل روبوتات محرك البحث، في ملف robots.txt، نعرف ما يسمى ب User-agent، ونسمح أو نرفض أرشفة صفحات بعينها، ونضع خرائط للموقع وهي مايسمى ب Sitemaps ونضعها رهن إشارة عناكب البحث الخاصة ب Google و Bing و Yandex وغيرها من محركات البحث.
عادة نستخدم علامات meta في head في كود المدونة لأرشفة أو عدم أرشفة المواضيع والصفحات بكتابة index أو noindex ، وملف robots.txt للتحكم في روبوتات محركات البحث. يمكنك السماح بالزحف على المدونة بالكامل لكن ذلك سيضر بمدونتك ، لذلك فمن الضروري حظر أقسام البحث والأرشيف والتسميات في المدونة على عناكب البحث.
ملف robots.txt الإفتراضي لمدونة بلوجر
لإنشاء ملف robots.txt مخصص مثالي لمدونة Blogger، نحتاج أولاً إلى فهم هيكل مدونة Blogger وتحليل ملف robots.txt الافتراضي.
افتراضياً، هذا الملف يبدو كالتالي:
.png "تخصيص ملف robots.txt لإعداد وضبط سيو مدونة بلوجر سنة 2023")
- السطر الأول User-agent من هذا الملف يعلن نوع الروبوت وهو هنا Google Adsense ، وفي السطر الثاني Disallow يعني حظر تأخذ القيمة لا شيء ، وبالتالي مسموح لإعلانات جوجل بالظهور في كل صفحات المدونة.
- وكيل المستخدم التالي هو * يعني جميع روبوتات محركات البحث ، وهي محظورة جميعا من صفحات البحث (السطر الموالي) ، يعني كل الصفحات التي تحتوي على كلمة search في روابطها وهي صفحات البحث والتسمية محظورة على محركات البحث.
- Allow يعني سماح لجميع الصفحات عدا المذكورة أعلاه ، أي صفحة يحتوي رابطها على / ، يعني صفحات المواضيع والصفحات المستقلة ، كلها متاحة لروبوتات محركات البحث للزحف والأرشفة.
- يحتوي السطر الأخير على رابط خريطة المدونة Sitemap وهو رابط التغذية الذي يجمع كل التدوينات.
هذا ملف مثالي تقريبًا للتحكم في روبوتات محرك البحث وتوفير تعليمات للصفحات للزحف أو عدم الزحف. لكن هذا الملف يسمح بفهرسة صفحات الأرشيف، والتي يمكن أن تسبب مشكلة مكررة في المحتوى. هذا يعني أنه سيخلق خردة لمدونة Blogger.
إنشاء Robots.txt الملف الأمثل المخصص لمدونة Blogger
لقد فهمنا كيفية أداء ملف robots.txt الافتراضي لوظيفته في مدونة Blogger ، الآن يمكننا تحسينه من أجل أداء أفضل لمدونتنا ولمحركات البحث.
تسمح ملفات robots.txt الإفتراضية بأرشفة صفحات أرشيف المدونة، مما يسبب مشكلة المحتوى المكرر. يمكننا منع هذه المشكلة عن طريق منع الروبوتات من الزحف إلى قسم الأرشيف. لهذا ،/search* سوف تعطل الزحف على جميع صفحات البحث والتسمية.
تطبيق قاعدة عدم السماح/20 * في ملف robots.txt سيوقف الزحف على أقسام الأرشيف. ستمنع قاعدة/20 * الزحف على جميع المنشورات، لذا لتجنب ذلك، علينا تطبيق قاعدة جديدة للسماح بقسم/* .html الذي يسمح للروبوتات بالزحف على المنشورات والصفحات.
في الملف الإفتراضي يتضمن رابط خريطة المدونة sitemap المنشورات فقط وليس الصفحات المستقلة ، لذا سنحتفظ به ونضيف رابط آخر يحتوي على الصفحات وهو : https://www.example.com/sitemap-pages.xml وبالمرة يمكنك إضافة هذا الرابط في Google Search Console أيضا للحصول على نتائج جيدة.
ملف robots.txt المخصص الجديد لمدونة Blogger سيبدو هكذا:
.png "تخصيص ملف robots.txt لإعداد وضبط سيو مدونة بلوجر سنة 2023")
ملاحظة : عليك استبدال www.example.com في رابط الخريطة بنطاق مدونتك .
يمكنك تحميل ملف robots.txt المعدل من هنا :
الملف أعلاه هو أفضل robots.txt من أجل مساعدة مدونتك على الظهور في نتائج البحث ، يجب عليك كتابة محتوى صديق لمحركات البحث من أجل تصدر نتائج البحث ، لأن هذا الملف هو أحد العوامل المساعدة فقط والباقي يتوقف عليك.
التأثيرات في وحدة تحكم محرك البحث بعد تنفيذ هذه القواعد في robots.txt
من المهم ملاحظة أن وحدة تحكم البحث في Google قد تبلغ عن حظر بعض الصفحات بواسطة ملف robots.txt الخاص بك. ومع ذلك، من الضروري التحقق من الصفحات المحجوبة. هل هي صفحات محتوى أم صفحات بحث أم أرشيف ؟ ستعرف ذلك من خلال الإطلاع على حسابك في Google Search Console ، ستجد أن صفحات البحث والأرشيف تم حظرها وهذا طبيعي.
لكن إن وجدت صفحة موضوع تم حظرها فستجد معها سبب الحظر الذي هو في الغالب لسبب آخر غير الملف ، تعرف على السبب وقم بتصحيح الخطأ ثم اطلب المراجعة من جديد ، مثل هذه الأخطاء تعتبر طبيعية عند المدونين ويتعاملون معها دائما من خلال أداة مشرفي المواقع.
كيفية التعديل على ملف robots.txt الإفتراضي لبلوجر؟
ملف robots.txt موجود في مسار المدونة على بلوجر ، لذا لا يمكنك استبداله كما نفعل مع بقية المواقع كالووردبريس ، الطريقة الوحيدة للوصول إليه هو عن طريق إعدادات المدونة باختيار ملف robots.txt مخصص فيمكننا لصق الكود ، انظر الصورة التالية :
.PNG "تخصيص ملف robots.txt لإعداد وضبط سيو مدونة بلوجر سنة 2023")
1- انتقل إلى لوحة تحكم بلوجر وانقر فوق خيار الإعدادات.
2- قم بالتمرير لأسفل إلى قسم الزحف والفهرسة.
3- فعل زر السماح بملف robots.txt مخصص.
4- انقر فوق robots.txt المخصص ، ستفتح نافذة قم بلصق الكود ثم اضغط على حفظ.
5- قبل الضغط على حفظ لا تنسى استبدال اسم النطاق بنطاق مدونتك في Sitemaps .
6- بعد تحديث الملف يمكنك التحقق من التغييرات عن طريق لصق هذا الرابط في المتصفح https://www.example.com/robots.txt مع استبدال اسم النطاق بنطاق مدونتك ثم فتح الملف.
دمتم في رعاية الله وحفظه.