FAQ
常见问题
什么是 robots.txt 文件？
Robots.txt 是网站管理员创建的一个文本文件，用于指示网络机器人（通常是搜索引擎机器人）如何抓取其网站上的页面。
我应该把 robots.txt 文件放在哪里？
Robots.txt 文件必须放置在网站的根目录下（例如：https://example.com/robots.txt）。
Robots.txt 会阻止页面出现在搜索结果中吗？
不一定。虽然它可以阻止抓取，但如果该页面从其他地方被链接，它仍然可能被索引。要确何页面不被索引，请使用 'noindex' 元标签。