BosConvertPro LogoBosConvertPro

Генератор Robots.txt

Создайте профессиональный файл robots.txt для вашего сайта за считанные секунды. Легко оптимизируйте сканирование и индексацию вашего сайта.

Конфигурация Robots.txt
Настройте правила сканирования вашего сайта ниже
Созданный robots.txt
Real-time preview

Features

Конфиденциальность прежде всего

Генерация происходит локально в вашем браузере. Мы не храним ваши правила или информацию о сайте.

Мгновенный просмотр

Наблюдайте за обновлением файла robots.txt в реальном времени при добавлении правил.

100% Профессионально

Создавайте SEO-оптимизированные файлы robots.txt, соответствующие мировым стандартам.

О генераторе Robots.txt

Генератор robots.txt позволяет настроить, к каким URL могут обращаться поисковые роботы, и управлять трафиком сканирования. Robots.txt не гарантирует исключения URL из результатов поиска. Для запрета индексации используйте метатег noindex или HTTP-заголовок и разрешите сканирование страницы, чтобы роботы могли прочитать указание. Защищайте приватные материалы с помощью аутентификации.

FAQ

Часто задаваемые вопросы

Что такое файл robots.txt?
Robots.txt — это текстовый файл, создаваемый веб-мастерами для указания роботам, как сканировать страницы их сайта.
Где должен находиться файл robots.txt?
Файл robots.txt должен находиться в корневом каталоге вашего веб-сайта.
Рекомендации
  • 1Не блокируйте файлы CSS, JavaScript или изображения.
  • 2Всегда указывайте URL карты сайта в конце файла robots.txt.
  • 3Проверьте, нет ли случайного 'Disallow: /', который блокирует сканирование всего сайта.
  • 4Следите за небольшим размером файла.