Robots.txt generator ले त्यो file बनाउँछ जसले search engine crawlers (Google, Bing) लाई बताउँछ website को कुन parts crawl गर्ने र कुन ignore गर्ने। हरेक website लाई robots.txt चाहिन्छ।
robots.txt File Generate गर्नुहोस्
Rules add गर्नुहोस्, sitemap include गर्नुहोस्, file download गर्नुहोस्।
robots.txt के हो?
Website root (example.com/robots.txt) मा राखिने plain text file:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml| Directive | Purpose |
|---|---|
| User-agent | कुन crawler (* = सबै) |
| Disallow | यो path crawl नगर |
| Allow | Disallow override |
| Sitemap | XML sitemap location |
के Block गर्ने, के Allow गर्ने
Block गर्नुहोस्
- /admin/, /dashboard/ — Internal panels
- /api/ — API endpoints
- /cart, /checkout — User-specific pages
- /search — Internal search results
Block नगर्नुहोस्
- CSS र JavaScript — Google लाई render गर्न चाहिन्छ
- Main content pages — Blog, products
Common Mistakes
| Mistake | Impact |
|---|---|
| Disallow: / (सबै block) | Site Google बाट disappear |
| CSS/JS block | Rankings गिर्छन् |
| Sitemap missing | Important pages miss |
How to Use the Tool (Step by Step)
- 1
Website Type छान्नुहोस्
WordPress, e-commerce, SPA छान्नुहोस्।
- 2
Rules Add गर्नुहोस्
Block गर्ने paths specify गर्नुहोस्।
- 3
Generate र Download
File generate गर्नुहोस्, root directory मा upload गर्नुहोस्।
Frequently Asked Questions
robots.txt के हो?+−
Website root मा plain text file जसले crawlers लाई instructions दिन्छ।
Disallow: / गरे के हुन्छ?+−
पूरो website crawlers बाट block हुन्छ। Search results बाट disappear।
AI crawlers कसरी block गर्ने?+−
GPTBot, CCBot को लागि separate User-agent blocks Disallow: / सहित।
यो generator free र private छ?+−
हो। Browser मा run हुन्छ। Data कतै जाँदैन।
robots.txt File Generate गर्नुहोस्
Rules add गर्नुहोस्, sitemap include गर्नुहोस्, file download गर्नुहोस्।
Robots.txt Generator खोल्नुहोस् ->Related Guides
Meta Tag Generator गाइड
Title tags, meta descriptions, Open Graph, Twitter Cards, र canonical tags — exact character limits र 2082 Google best practices सहित।
Headline Analyzer Guide
High-performing headlines पछाडिको साइन्स सिक्नुहोस् — word count, power words, emotion triggers, र CTR बढाउने proven formulas।
JSON Formatter गाइड
JSON validate, format र debug — नेपाली IT professionals का लागि complete guide।