هل تساءلت يوماً كيف تعرف محركات البحث أي الصفحات يجب أن تظهر في النتائج وأيها يجب تجاهله؟ السر التقني خلف هذا التنظيم يكمن في ملف صغير الحجم لكنه عظيم الأثر يُسمى Robots.txt. في عالم تحسين محركات البحث (SEO)، لا يكفي أن تكتب محتوى جيداً فقط، بل يجب أن ترشد خوارزميات البحث إلى كيفية قراءة موقعك. سنشرح لك في هذا المقال كيفية إعداده باحترافية لمدونتك لتجنب أخطاء الفهرسة الشائعة.
ما هو ملف Robots.txt؟
ملف Robots.txt هو عبارة عن ملف نصي بسيط يتواجد في الجذر الرئيسي لموقعك الإلكتروني. وظيفته الأساسية هي إعطاء تعليمات صارمة لـ "عناكب" أو "بوتات" محركات البحث حول الأقسام التي يُسمح لها بالدخول إليها وفهرستها، والأقسام المحظورة عليها. يعتبر هذا الملف خط الدفاع الأول لموقعك، حيث يقوم بتنظيم حركة مرور الروبوتات الذكية. للمزيد من التفاصيل التقنية الدقيقة حول كيفية عمل هذه العناكب، يمكنك الاطلاع على توثيقات جوجل الرسمية (Google Search Central) التي تشرح بروتوكول استبعاد الروبوتات بشكل موسع.
لماذا يحتاج مدونو "بلوجر" لهذا الملف بالتحديد؟
منصة بلوجر (Blogger) تمتلك هيكلية روابط خاصة بها، وتولّد صفحات تلقائية مثل صفحات البحث الداخلي (Search) وصفحات الأرشيف (Archive). غياب ملف Robots.txt المخصص سيؤدي إلى مشاكل كارثية، أهمها:
- توفير ميزانية الزحف (Crawl Budget): محركات البحث تخصص وقتاً محدداً لفحص كل موقع. هذا الملف يمنع جوجل من إضاعة وقته في زحف صفحات فارغة أو غير مهمة (مثل صفحات البحث الداخلي)، ليوجه طاقته نحو مقالاتك الأساسية.
- تسريع وتحسين الأرشفة: الملف الصحيح يحتوي على توجيه مباشر إلى رابط خريطة الموقع (Sitemap) الخاصة بك، مما يسهل على العناكب اكتشاف مقالاتك الجديدة بمجرد نشرها.
- منع المحتوى المكرر (Duplicate Content): يمنع ظهور روابط فرعية قد تضر بسيو (SEO) مدونتك، حيث يمنع فهرسة الروابط التي تنتهي بـ ?m=1 (الخاصة بنسخة الجوال) كصفحات منفصلة عن مقالاتك الأصلية.
ننصحك ايضا بقراءة مقالنا على منصة كوداتي - CodatyDev :
أداة توليد خريطة الموقع Sitemap لتسريع أرشفة مقالاتك
شرح أهم الأوامر في ملف Robots.txt
لفهم الكود الذي سيتم توليده لمدونتك، من الجيد أن تتعرف على الأوامر البرمجية الأساسية التي يتكون منها هذا الملف:
| الأمر | الوظيفة والتأثير |
|---|---|
| User-agent | يحدد نوع الروبوت المستهدف بالتوجيهات. رمز النجمة (*) يعني تطبيق القواعد على جميع الروبوتات (مثل Googlebot و Bingbot). |
| Disallow | يخبر الروبوت بالأقسام التي لا يُسمح له بزيارتها إطلاقاً. في بلوجر، نستخدمه لحظر مسار /search لمنع أرشفة نتائج البحث الداخلي. |
| Allow | يستثني صفحة معينة من الحظر. يخبر الروبوت بالأقسام المسموح بزيارتها حتى لو كانت داخل مجلد محظور. |
| Sitemap | رابط يحتوي على خريطة XML بجميع مقالاتك لتسهيل وتسريع أرشفتها في محركات البحث. |
أداة كوداتي - CodatyDev | توليد ملف Robots.txt 🛠️
هذه الأداة تولد ملفاً متوافقاً مع معايير جوجل الجديدة لضمان أرشفة حتى 500 مقال قديم.
كيف تضيف الملف إلى مدونتك في بلوجر بشكل صحيح؟
بعد استخدامك للأداة أعلاه والحصول على الكود المخصص لمدونتك، يجب عليك تطبيقه بحذر من خلال الخطوات التالية لضمان عمله دون التأثير على ملفات القالب (XML):
- سجل الدخول إلى لوحة تحكم Blogger الخاصة بك.
- انتقل إلى علامة التبويب الإعدادات (Settings) من القائمة الجانبية.
- مرر الشاشة للأسفل حتى تصل إلى قسم برامج الزحف والفهرسة (Crawlers and indexing).
- قم بتفعيل زر تفعيل محتوى ملف robots.txt مخصص (Enable custom robots.txt).
- اضغط على ملف robots.txt مخصص، ستفتح لك نافذة منبثقة؛ الصق الكود الذي نسخته من أداة كوداتي واضغط على "حفظ".
كيف تتأكد من عمل الملف بنجاح؟
بعد إضافة الكود، يُنصح دائماً باختباره للتأكد من خلوه من الأخطاء. يمكنك التوجه إلى حسابك في Google Search Console، واستخدام أداة اختبار ملف Robots المتاحة هناك. قم بإدخال بعض روابط مقالاتك للتأكد من أن حالة الزحف "مسموح بها" (Allowed)، وتأكد من أن صفحات البحث الداخلي تظهر بحالة "محظورة" (Blocked)، وهو المطلوب بالضبط.
إعداد هذا الملف بشكل صحيح هو الخطوة التأسيسية الأولى نحو سيو (SEO) احترافي. باستخدام أداة CodatyDev، أنت تضمن أن محركات البحث ستفهم معمارية مدونتك بوضوح وتتجاهل الروابط غير الضرورية، مما يمنح مقالاتك التقنية فرصة أكبر للوصول إلى الصفحة الأولى.
هل ما زلت تواجه مشكلة في أرشفة مقالاتك أو تعاني من أخطاء في التغطية؟ اترك لنا تعليقاً برابط مدونتك وسنساعدك في فحص ملفك مجاناً!