FAQ
よくある質問
robots.txt ファイルとは何ですか？
robots.txt は、ウェブマスターがウェブロボット（通常は検索エンジンのロボット）に対して、サイト上のページをどのようにクロールすべきかを指示するために作成するテキストファイルです。
robots.txt ファイルはどこに配置すべきですか？
robots.txt ファイルは、ウェブサイトのルートディレクトリに配置する必要があります（例：https://example.com/robots.txt）。
robots.txt はページを検索結果から完全に削除しますか？
必ずしもそうではありません。クロールは防げますが、外部からリンクされている場合、インデックス登録される可能性があります。完全に防ぐには「noindex」メタタグを使用してください。