Robots.txt Oluşturucu

Saniyeler içinde web siteniz için profesyonel bir robots.txt dosyası oluşturun. Sitenizin tarama ve dizinleme sürecini kolayca optimize edin.

Robots.txt Yapılandırması
Sitenizin tarama kurallarını aşağıda yapılandırın
Hazır ayarlar
Grup 1

Virgülle ayrılmış User-agent'lar

Satır başına bir tam URL

Oluşturulan robots.txt
Canlı önizleme
Kontroller

Sorun bulunamadı

URL test aracı

Bir tarayıcının bir yolu alıp alamayacağını kontrol edin.

EngellendiEşleşen kural: Disallow: /admin/

Features

Önce Gizlilik

Tüm oluşturma tarayıcınızda yerel olarak gerçekleşir. Kurallarınızı veya site bilgilerinizi asla saklamayız.

Anında Önizleme

Kural ve yapılandırmalar ekledikçe robots.txt dosyanızın gerçek zamanlı güncellendiğini görün.

%100 Profesyonel

Resmi web standartlarını ve protokollerini izleyen SEO optimize robots.txt dosyaları oluşturun.

Robots.txt Oluşturucu Hakkında

Robots.txt oluşturucu, arama motoru tarayıcılarının hangi URL'lere erişebileceğini yapılandırmanızı ve tarama trafiğini yönetmenizi sağlar. Robots.txt bir URL'nin arama sonuçlarından çıkarılmasını garanti etmez. Dizinlemeyi önlemek için noindex meta etiketi veya HTTP başlığı kullanın ve tarayıcıların bu talimatı okuyabilmesi için sayfanın taranmasına izin verin. Özel içeriği kimlik doğrulamayla koruyun.

FAQ

Sıkça Sorulan Sorular

En İyi Uygulamalar
  • 1CSS, JavaScript veya Görüntü dosyalarını engellemeyin; arama motorlarının sayfanızı doğru anlaması için bunlara ihtiyacı vardır.
  • 2robots.txt dosyanızın sonuna her zaman Site Haritası URL'inizi ekleyin.
  • 3Yanlışlıkla 'Disallow: /' eklenmediğini kontrol edin; bu, tüm sitenizin taranmasını engeller.
  • 4Dosya boyutunu küçük tutun; çoğu tarayıcı yalnızca ilk birkaç yüz kilobaytı okur.

Robots.txt oluşturucu hakkında

robots.txt dosyası web sitenizin kök dizininde bulunur ve arama motoru tarayıcılarına hangi URL'leri alabileceklerini bildirir. Bu oluşturucu basit seçeneklerle geçerli bir dosya hazırlar, canlı önizleme gösterir ve site haritanızı eklemenizi sağlar; sitenizle ilgili hiçbir bilgi bir sunucuya gönderilmez.

Nasıl kullanılır

  1. Tüm tarayıcılar için varsayılan kuralı seçin: her şeye izin ver veya her şeyi engelle.
  2. /admin/ veya /search gibi belirli yollar için Disallow veya Allow kuralları ekleyin.
  3. Gerekirse tek tek botlar için kurallar ekleyin ve site haritanızın tam URL'sini girin.
  4. Dosyayı kopyalayın veya indirin, ardından robots.txt adıyla alan adınızın kök dizinine yükleyin.

Yaygın kullanım alanları

Sık sorulan sorular

robots.txt bir sayfayı Google'dan kaldırır mı?
Hayır. Taramayı kontrol eder, dizine eklemeyi değil. Engellenmiş bir URL'ye başka siteler bağlantı veriyorsa sonuçlarda yine görünebilir. Bir sayfayı dizin dışında tutmak için noindex etiketi kullanın.
Dosya nereye konmalı?
Ana makinenin kök dizinine, örneğin https://example.com/robots.txt. Alt klasördeki kurallar yok sayılır ve her alt alan adının kendi dosyası olmalıdır.
Yalnızca bazı botları engelleyebilir miyim?
Evet. Kural grubunu o botun User-agent değeriyle, örneğin Googlebot ile başlatın ve ona uygulanacak Disallow satırlarını ekleyin.