# Robots.txt optimisé pour Cryptoculture.fr
# Génération automatique avec règles SEO avancées

# Configuration générale
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /*.json$
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /api/

# Optimisations pour Google
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Optimisations pour Bing
User-agent: Bingbot  
Allow: /
Crawl-delay: 2

# Réseaux sociaux - Accès complet
User-agent: Twitterbot
Allow: /
Crawl-delay: 0

User-agent: facebookexternalhit
Allow: /
Crawl-delay: 0

User-agent: LinkedInBot
Allow: /
Crawl-delay: 1

# Autres crawlers importants
User-agent: WhatsApp
Allow: /

User-agent: Applebot
Allow: /

# Blocage crawlers indésirables
User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MajesticSEO
Disallow: /

# Configuration avancée sitemaps
Sitemap: https://cryptoculture.fr/sitemap-index.xml
Sitemap: https://cryptoculture.fr/sitemap-main.xml
Sitemap: https://cryptoculture.fr/sitemap-books.xml
Sitemap: https://cryptoculture.fr/sitemap-images.xml

# Crawl delay global optimisé
Crawl-delay: 1