Конфигурация Robots.txt

Настройте правила сканирования вашего сайта ниже

User-agent

Crawl-delay (секунды)

URL карты сайта

Правила

Созданный robots.txt

Real-time preview

Генерация происходит локально в вашем браузере. Мы не храним ваши правила или информацию о сайте.

Наблюдайте за обновлением файла robots.txt в реальном времени при добавлении правил.

Создавайте SEO-оптимизированные файлы robots.txt, соответствующие мировым стандартам.

О генераторе Robots.txt

Генератор robots.txt — это важный SEO-инструмент, который сообщает поисковым роботам, какие страницы сайта можно или нельзя индексировать.

FAQ

Часто задаваемые вопросы

Что такое файл robots.txt?

Robots.txt — это текстовый файл, создаваемый веб-мастерами для указания роботам, как сканировать страницы их сайта.

Где должен находиться файл robots.txt?

Файл robots.txt должен находиться в корневом каталоге вашего веб-сайта.

Рекомендации