# VR女友官方网站 Robots.txt
# 更新时间: 2024-12-19
# 符合Google、百度、Bing等主流搜索引擎标准

# 全局规则 - 允许所有搜索引擎访问主要内容
User-agent: *
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/

# 禁止访问的目录和文件
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
Disallow: /backup/
Disallow: /logs/
Disallow: /config/
Disallow: /cache/
Disallow: /tmp/
Disallow: /.git/
Disallow: /.htaccess
Disallow: /.env
Disallow: /error/
Disallow: /test/
Disallow: /dev/

# 禁止访问隐私相关页面 (这些页面已设置noindex)
Disallow: /privacy.html
Disallow: /terms.html
Disallow: /disclaimer.html

# 禁止访问特定文件类型
Disallow: /*.log$
Disallow: /*.sql$
Disallow: /*.bak$
Disallow: /*.old$
Disallow: /*.tmp$

# Google搜索引擎特定规则
User-agent: Googlebot
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 1

# Google图片搜索引擎
User-agent: Googlebot-Image
Allow: /img/
Allow: /css/
Crawl-delay: 1

# 百度搜索引擎特定规则
User-agent: Baiduspider
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 1

# 百度图片搜索引擎
User-agent: Baiduspider-image
Allow: /img/
Crawl-delay: 1

# 百度移动搜索引擎
User-agent: Baiduspider-mobile
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 1

# Bing搜索引擎特定规则
User-agent: bingbot
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 1

# 360搜索引擎
User-agent: 360Spider
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 2

# 搜狗搜索引擎
User-agent: Sogou web spider
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 2

# 神马搜索引擎
User-agent: YisouSpider
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 2

# 头条搜索引擎
User-agent: Bytespider
Allow: /
Allow: /css/
Allow: /js/
Allow: /img/
Crawl-delay: 2

# 禁止恶意爬虫和采集器
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# 社交媒体爬虫 - 允许访问以支持社交分享
User-agent: facebookexternalhit
Allow: /
Allow: /img/

User-agent: Twitterbot
Allow: /
Allow: /img/

User-agent: LinkedInBot
Allow: /
Allow: /img/

User-agent: WhatsApp
Allow: /
Allow: /img/

User-agent: TelegramBot
Allow: /
Allow: /img/

# 微信爬虫
User-agent: Mozilla/5.0 (compatible; WeChatBot)
Allow: /
Allow: /img/

# QQ爬虫
User-agent: TencentTraveler
Allow: /
Allow: /img/

# 微博爬虫
User-agent: Weibo
Allow: /
Allow: /img/

# Sitemap位置 - 主要搜索引擎都支持
Sitemap: https://example.com/sitemap.xml

# 额外的sitemap (如果有的话)
# Sitemap: https://example.com/sitemap-images.xml
# Sitemap: https://example.com/sitemap-news.xml

# 主机信息 (可选)
# Host: example.com

# 清理指令 (Google特有，可选)
# Clean-param: utm_source&utm_medium&utm_campaign

# 注意事项:
# 1. 请将 example.com 替换为您的实际域名
# 2. 根据实际网站结构调整允许和禁止的路径
# 3. 定期检查和更新此文件
# 4. 确保sitemap.xml文件存在且可访问
# 5. 监控搜索引擎的抓取日志以优化设置