Robots.txt generator वो file बनाता है जो search engine crawlers (Google, Bing) को बताती है कि website के कौन से parts crawl करने हैं और कौन से ignore। हर website को robots.txt चाहिए।
robots.txt File Generate करें
Website type select करें, rules add करें, sitemap include करें — ready-to-use file download करें।
robots.txt क्या है?
Website root (example.com/robots.txt) पर रखी plain text file जो web crawlers को instructions देती है।
User-agent: *
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xml| Directive | Purpose |
|---|---|
| User-agent | कौन सा crawler (* = all) |
| Disallow | ये path crawl मत करो |
| Allow | Disallow override करो |
| Sitemap | XML sitemap location |
robots.txt crawling रोकता है, indexing नहीं। Pages अभी भी direct URL से accessible हैं। Security के लिए authentication use करें।
क्या Block करें, क्या Allow करें
Block करें
| Path | क्यों |
|---|---|
| /admin/, /dashboard/ | Internal panels — SEO value नहीं |
| /api/ | API endpoints — user-facing नहीं |
| /cart, /checkout | User-specific pages |
| /search, /?s= | Internal search — infinite crawl paths |
कभी Block न करें
- CSS और JavaScript — Google को pages render करने के लिए चाहिए
- Product/blog images — Index होने दें
- Main content pages — Blog, products, landing pages
Low-value pages block करने से Google important pages पर ज़्यादा crawl budget खर्च करता है।
Common Mistakes
| Mistake | Impact |
|---|---|
| Disallow: / (सब block) | पूरी site Google से disappear |
| CSS/JS block | Google render नहीं कर पाता, rankings गिरते हैं |
| Sitemap missing | Google important pages miss कर सकता है |
| Staging subdomain भूलना | staging.example.com index हो जाता है |
Production site पर Disallow: / — एक line में पूरी website search से हट जाती है।
AI Crawlers Block करना
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Googlebot
Allow: /AI training crawlers block करें लेकिन normal search engines को allow रखें।
How to Use the Tool (Step by Step)
- 1
Website Type Select करें
WordPress, e-commerce, SPA, या custom choose करें।
- 2
Disallow Rules Add करें
/admin/, /api/, /cart, /search paths block करें।
- 3
Sitemap URL Add करें
XML sitemap का URL enter करें।
- 4
Generate और Download करें
File generate करें, website root directory में upload करें।
Frequently Asked Questions
robots.txt file क्या है?+−
Website root (example.com/robots.txt) पर plain text file जो search engine crawlers को बताती है कौन से pages crawl करने हैं।
क्या हर website को robots.txt चाहिए?+−
हां। बिना इसके crawlers सब access करते हैं — admin pages, search results, duplicate content सब।
Disallow: / करने से क्या होगा?+−
पूरी website सभी crawlers से block हो जाएगी। Search results से disappear हो जाएगी। Production site पर कभी use न करें।
AI crawlers कैसे block करें?+−
GPTBot, CCBot, Google-Extended के लिए separate User-agent blocks add करें Disallow: / के साथ।
क्या ये generator free और private है?+−
हां। Browser में ही run होता है। Website data या URLs server पर नहीं जाता।
robots.txt File Generate करें
Website type select करें, rules add करें, sitemap include करें — ready-to-use file download करें।
Robots.txt Generator खोलें ->Related Guides
Meta Tag Generator Guide
Title tags, meta descriptions, Open Graph, Twitter Cards, और canonical tags master करें — exact character limits और 2026 Google best practices के साथ।
Headline Analyzer Guide
High-performing headlines के पीछे का साइंस सीखें — word count, power words, emotion triggers, और CTR बढ़ाने वाले proven formulas।
JSON फॉर्मेटर गाइड
JSON क्या है, कैसे format करें, common errors कैसे fix करें — developers और beginners दोनों के लिए।