Robots.txt 生成器

在几秒钟内为您的网站创建专业的 robots.txt 文件。轻松优化网站的抓取和索引。

Robots.txt 配置
在下方配置您网站的抓取规则
预设
分组 1

User-agent,用逗号分隔

每行一个完整 URL

生成的 robots.txt
实时预览
检查

未发现问题

URL 测试

检查爬虫是否可以抓取某个路径。

禁止匹配的规则: Disallow: /admin/

Features

隐私优先

所有生成过程都在您的浏览器中本地完成。我们绝不会存储您的规则或站点信息。

实时预览

在您添加规则和配置时,实时查看 robots.txt 文件的更新。

100% 专业

生成遵循官方 Web 标准和协议且经过 SEO 优化的 robots.txt 文件。

关于 Robots.txt 生成器

Robots.txt 生成器可配置搜索引擎抓取工具能够访问的 URL,并帮助管理抓取流量。 Robots.txt 不保证 URL 不会出现在搜索结果中。要阻止索引,请使用 noindex 元标签或 HTTP 标头,并允许抓取工具访问页面以读取该指令。请通过身份验证保护私有内容。

FAQ

常见问题

最佳实践
  • 1不要阻止 CSS、JavaScript 或图像文件,因为搜索引擎需要它们来正确理解您的页面。
  • 2始终在 robots.txt 文件的末尾包含您的站点地图 (Sitemap) URL。
  • 3检查是否误设了 'Disallow: /',这会阻止整个网站的抓取。
  • 4保持文件大小较小;大多数抓取工具只读取前几百 KB。

关于 Robots.txt 生成器

robots.txt 文件位于网站根目录,用来告诉搜索引擎爬虫可以抓取哪些 URL。这个生成器可根据简单选项生成有效文件,提供实时预览,并支持添加站点地图,且不会把您网站的任何信息发送到服务器。

使用方法

  1. 选择所有爬虫的默认规则:全部允许或全部禁止。
  2. 为特定路径(如 /admin/ 或 /search)添加 Disallow 或 Allow 规则。
  3. 如有需要,为个别爬虫添加规则,并填写站点地图的完整 URL。
  4. 复制或下载文件,然后以 robots.txt 为名上传到域名根目录。

常见使用场景

常见问题

robots.txt 能把页面从 Google 中移除吗?
不能。它控制的是抓取,而不是索引。被屏蔽的 URL 如果被其他网站链接,仍可能出现在搜索结果中。要让页面不被索引,请使用 noindex 标签。
文件应该放在哪里?
放在主机的根目录,例如 https://example.com/robots.txt。子文件夹中的规则会被忽略,每个子域名都需要各自的文件。
可以只屏蔽部分爬虫吗?
可以。用该爬虫的 User-agent(例如 Googlebot)开始一组规则,再添加适用的 Disallow 行。