Custom Robots.txt File Explained: Blogger और WordPress के लिए सही सेटिंग्स

 जब भी हम कोई Website या Blog बनाते हैं, तो उसमें एक robots.txt फाइल होती है। यह File Search Engine (Google, Bing, Yahoo आदि) को बताती है कि आपकी वेबसाइट के कौन से Page Index होने चाहिए और किन पेजों को इंडेक्स नहीं करना है।

साधारण शब्दों में कहें तो robots.txt आपकी वेबसाइट की विज़िबिलिटी और SEO Control करने का एक बहुत ही जरूरी टूल है। 

Custom Robots.txt क्यों जरूरी है?

1. SEO कंट्रोल के लिए – आप तय कर सकते हैं कि कौन से पेज सर्च इंजन में दिखें।
2. Duplicate Content से बचने के लिए – कुछ पेज (जैसे tag, category या search results pages) को Google में Index नहीं करना चाहिए।
3. Website Speed के लिए – अगर सर्च बॉट्स बार-बार हर पेज को क्रॉल करेंगे तो वेबसाइट की स्पीड पर असर पड़ सकता है।
4. Privacy बनाए रखने के लिए – कुछ एडमिन पेज या प्राइवेट फाइल्स को इंडेक्सिंग से रोक सकते हैं।

अगर आप अपनी खुद की वेबसाइट बनवाना चाहते हैं तो आप हमसे व्हाट्सएप पर संपर्क कर सकते हैं +91 7985891396

वेबसाइट के लिए Robot.txt बहुत ही जरूरी है हमने नीचे Robot.txt फाइल दे रखी है आप उसमें अपनी वेबसाइट ऐड करकेअपने ब्लॉगर में वेबसाइट में ऐड कर सकते हैं ब्लॉगर के लिए हमने स्क्रीनशॉट भी आप दिया है

Robots.txt की Basic Structure

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap.xml

समझें:

1. User-agent: यह बताता है कि कौन से बॉट्स (Googlebot, Bingbot) के लिए रूल है। * का मतलब सभी बॉट्स।
2. Disallow: जिन पेजों को सर्च इंजन में इंडेक्स नहीं करना।
3. Allow: जिन पेजों को इंडेक्स करने की अनुमति देनी है।
4. Sitemap: आपकी वेबसाइट का sitemap URL, जिससे Google को पेजेस ढूंढने में आसानी हो।

Blogger/WordPress के लिए Best Custom Robots.txt Example-

Robots.txt Blogger

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.yourblog.com/sitemap.xml

Custom Robots.txt सेट करने के स्टेप्स (Blogger में)

Blogger Dashboard में जाएं।

Settings → Crawlers and indexing पर क्लिक करें।

Enable Custom robots.txt को ON करें।

ऊपर दिया हुआ robots.txt कोड वहाँ पेस्ट करें।

Save करें।

ध्यान देने वाली बात यह है गूगल पर आपकी वेबसाइट जब रैंक करेगी जब आप खुद का आर्टिकल लिखेंगे तब अगर आप किसी भी आर्टिफिशियल इंटेलीजेंस ए सेकंटेंट लिखवाते हैं तो वह गूगल पर रैंक बिल्कुल नहीं करेगा गूगल सर्च कंसोल में वह नहीं इंडेक्स होगा