Search Engine Crawling Guidelines (Detailed with Examples)
๐ Search Engine Crawling Guidelines (Detailed with Examples)
๐น A. Basic Crawling Guidelines (1–10)
-
Website accessible เคฐเคें
-
เคฎเคคเคฒเคฌ: Server เคนเคฎेเคถा up เคเคฐ fast เคนोเคจा เคाเคนिเค।
-
Example: เค เคเคฐ server เคฌाเคฐ-เคฌाเคฐ down เคนोเคा, Googlebot pages crawl เคจเคนीं เคเคฐेเคा।
-
-
Robots.txt เคธเคนी เคฐเคें
-
Example:
User-agent: * Disallow: /admin/ Allow: /เคเคธเคธे admin page block เคฐเคนेเคा เคเคฐ เคฌाเคी crawl เคนोंเคे।
-
-
Internal linking strong เคฐเคें
-
Example: Homepage → Category → Subcategory → Product.
-
เคเคธเคธे bots เคนเคฐ page เคคเค เคชเคนुँเคेंเคे।
-
-
XML Sitemap เคฌเคจाเคं
-
Example:
sitemap.xmlfile เคिเคธเคฎें เคธเคญी indexable URLs เคนों। -
เคเคธे Google Search Console เคฎें submit เคเคฐें।
-
-
Duplicate content avoid เคเคฐें
-
Example: เค เคเคฐ
example.com/pageเคเคฐexample.com/page?ref=123เคฆोเคจों เคนैं → canonical main URL เคชเคฐ เคฒเคाเคँ।
-
-
Mobile-friendly design
-
Example: Responsive design → เคฎोเคฌाเคเคฒ เคชเคฐ site cut เคจा เคนो।
-
-
Website speed improve เคเคฐें
-
Example: Images compress เคเคฐें, caching use เคเคฐें, CDN เคฒเคाเคँ।
-
-
Crawl budget เคा เคง्เคฏाเคจ เคฐเคें
-
Example: 1000 low-quality pages เคนเคाเคเคฐ เคธिเคฐ्เคซ 200 high-quality pages index เคเคฐें।
-
-
HTTPS (Secure site)
-
Example:
http://example.comเคो 301 redirect เคเคฐเคेhttps://example.comเคเคฐें।
-
-
Regular updates เคเคฐें
-
Example: เคนเคฐ เคนเคซ्เคคे blog update → Googlebot เคฌाเคฐ-เคฌाเคฐ crawl เคเคฐेเคा।
๐น B. Advanced Crawling Guidelines (11–20)
-
JavaScript เคธเคนी handle เคเคฐें
-
Example: Product details เคธिเคฐ्เคซ JS เคธे load เคจा เคนों, HTML fallback เคญी เคฆें।
-
Clean URL structure
-
Example:
❌example.com/product?id=123&color=blue
✅example.com/product/blue-shirt
-
Orphan pages avoid เคเคฐें
-
Example: เคเคธा page เคो เคिเคธी internal link เคธे เคुเคก़ा เคจเคนीं → Googlebot discover เคจเคนीं เคเคฐ เคชाเคเคा।
-
Infinite scroll crawl-friendly เคฌเคจाเคं
-
Example: “Load more” button เคे เคธाเคฅ paginated URLs เคญी เคฆें (
/page/2,/page/3)।
-
Thin content pages เคนเคाเคँ
-
Example: เคธिเคฐ्เคซ 50 words เคตाเคฒा product page → delete เคฏा merge เคเคฐें।
-
Redirect chains minimize เคเคฐें
-
Example:
❌A → B → C → D
✅A → D(direct redirect)
-
Faceted navigation control เคเคฐें
-
Example: Filters (
?size=M&color=red) canonical main category เคชเคฐ เคเคฐें।
-
Server logs monitor เคเคฐें
-
Example: Logs เคธे เคฆिเคे เคि Googlebot เคฌाเคฐ-เคฌाเคฐ
/cartcrawl เคเคฐ เคฐเคนा → robots.txt เคธे block เคเคฐें।
-
Hreflang tags (multi-language sites)
-
Example:
<link rel="alternate" hreflang="en" href="example.com/en/page" /> <link rel="alternate" hreflang="fr" href="example.com/fr/page" />
-
Structured data add เคเคฐें
-
Example:
{ "@context": "https://schema.org", "@type": "Product", "name": "Red Shirt", "price": "499" }
๐น C. Pro Crawling Guidelines (21–30)
-
Crawl-delay avoid เคเคฐें
-
Example:
crawl-delay: 10เคฎเคค เคฒเคाเคँ, เคตเคฐเคจा crawl slow เคนो เคाเคเคा।
-
Pagination tags use เคเคฐें
-
Example:
<link rel="next" href="page2.html" /> <link rel="prev" href="page1.html" />
-
Canonicalization เคธเคนी เคฐเคें
-
Example: Duplicate color pages เคนों เคคो canonical main product page เคชเคฐ เคเคฐें।
-
URL parameters block เคเคฐें
-
Example:
example.com/page?utm=123เคो GSC parameters settings เคธे block เคเคฐें।
-
HTML Sitemap เคฌเคจाเคं
-
Example:
example.com/sitemap→ เคธเคญी important pages เคी list।
-
Consistent URL versions เคฐเคें
-
Example: เคธिเคฐ्เคซ
https://www.example.comrun เคเคฐें, เคฌाเคी versions redirect เคนों।
-
Image/Video crawling optimize เคเคฐें
-
Example: Image sitemap เคฌเคจाเคं:
<image:image> <image:loc>https://example.com/img1.jpg</image:loc> </image:image>
-
Crawl traps avoid เคเคฐें
-
Example: Infinite calendar links → robots.txt เคธे block เคเคฐें।
-
Crawl stats monitor เคเคฐें
-
Example: GSC → Settings → Crawl stats → เคฆेเค เคธเคเคคे เคนैं เคिเคคเคจे pages crawl เคนुเค।
-
Regular audit tools use เคเคฐें
-
Example: Screaming Frog เคธे site crawl เคเคฐเคे broken links, redirect chains detect เคเคฐें।
๐น D. Expert Crawling Guidelines (31–40)
-
Soft 404 fix เคเคฐें
-
Example: “No products found” page เคो 200 status เคी เคฌเคाเคฏ 404 return เคเคฐें।
-
Duplicate subdomains avoid เคเคฐें
-
Example:
blog.example.comเคเคฐwww.example.com/blog→ เคเค เคนी เคฐเคें।
-
Consistent menus
-
Example: เคนเคฐ page เคชเคฐ header menu same เคฐเคें เคคाเคि crawl path consistent เคนो।
-
CSS/JS block เคจा เคเคฐें
-
Example:
❌ Robots.txt →Disallow: /css/
✅ CSS allow เคเคฐें।
-
Server codes เคธเคนी เคฐเคें
-
Example: Old product 410 code เคฆे, เคคाเคि crawler เคธเคฎเคे permanent เคนเค เคเคฏा।
-
Duplicate PDFs/docs minimize เคเคฐें
-
Example: 100 PDFs same content → เคธिเคฐ्เคซ 1 index เคเคฐเคตाเคँ।
-
CDN เคธเคนी handle เคเคฐें
-
Example: CDN เคธे serve เคนोเคจे เคชเคฐ เคญी
example.comcanonical set เคเคฐें।
-
Crawl frequency check เคเคฐें
-
Example: เค เคเคฐ blog daily update เคนै เคฒेเคिเคจ Googlebot monthly crawl เคเคฐ เคฐเคนा → issue เคนै।
-
Pagination canonical
-
Example: Page 2 เคा canonical เคुเคฆ เคชเคฐ เคนी เคนोเคจा เคाเคนिเค, Page 1 เคชเคฐ เคจเคนीं।
-
Topical authority build เคเคฐें
-
Example: เค เคเคฐ เคเคชเคी site “SEO” เคชเคฐ เคนै → SEO tools, SEO guides, SEO updates เคธเคฌ content เคฌเคจाเคं।
๐น E. Master Crawling Guidelines (41–50)
-
Headless browser crawl test
-
Example: Chrome DevTools → mobile view เคฎें เคฆेเคें content เคธเคนी load เคนो เคฐเคนा เคฏा เคจเคนीं।
-
Canonical vs Noindex conflict avoid เคเคฐें
-
Example: เคเค page เคชเคฐ canonical main page เคชเคฐ เคเคฐ เคธाเคฅ เคนी noindex → wrong setup।
-
AMP handling เคธเคนी เคเคฐें
-
Example: AMP page canonical main version เคชเคฐ point เคเคฐे।
-
Log file analysis เคเคฐें
-
Example: เคชเคคा เคเคฒा Googlebot เคธिเคฐ्เคซ homepage crawl เคเคฐ เคฐเคนा, เคฌाเคी ignore → links fix เคเคฐें।
-
Sitemap priority set เคเคฐें
-
Example: Homepage priority = 1.0, Blog post = 0.8, Privacy policy = 0.2.
-
Content depth limit เคเคฐें
-
Example: Product page homepage เคธे max 3 clicks เคฎें accessible เคนो।
-
Dynamic rendering for JS-heavy sites
-
Example: Angular site → prerender.io เคธे HTML version serve เคเคฐें।
-
Clean internal links
-
Example: Internal link →
example.com/page(clean), เคจा เคिexample.com/page?ref=abc।
-
International targeting
-
Example: India users →
example.in, US users →example.com/us.
-
AI-based crawl optimization tools
-
Example: Botify, Deepcrawl crawl budget waste detect เคเคฐเคคे เคนैं।
๐น F. Enterprise Crawling Guidelines (51–60)
-
Multiple sitemaps + index
-
Example: 200k pages เคตाเคฒी site → 4 sitemaps + 1 sitemap index।
-
Priority content HTML top เคชเคฐ เคฐเคें
-
Example: H1, intro, product info HTML เคฎें เคชเคนเคฒे load เคนो, footer เคฌाเคฆ เคฎें।
-
JS bundling optimize เคเคฐें
-
Example: 5 เค เคฒเค JS files เคी เคฌเคाเคฏ เคเค เคนी minified file load เคเคฐें।
-
Infinite filters block เคเคฐें
-
Example: Robots.txt →
Disallow: /*?color=
-
Breadcrumbs navigation เคฆें
-
Example: Home > Electronics > Mobile > iPhone.
-
Crawl trap alerts
-
Example: Tool เคธे alert เคि
?sessionid=123type URLs crawl เคนो เคฐเคนे।
-
Freshness signals เคฆें
-
Example: Sitemap lastmod date update เคเคฐें เคเคฌ เคญी content เคฌเคฆเคฒे।
-
Content pruning เคเคฐें
-
Example: 10k low-traffic pages เคนเคाเคँ → crawl budget improve เคนोเคा।
-
Internal link equity optimize เคเคฐें
-
Example: Homepage เคธे top products เคो deep link เคเคฐें।
-
Pre-rendering for bots & social
-
Example: React site → pre-rendered HTML version เคฆें เคคाเคि bots เคเคธाเคจी เคธे crawl เคเคฐें।
Comments
Post a Comment