robots.txt Oluşturucu

Arama motoru ve yapay zekâ botlarının sitenizde neleri tarayabileceğini belirleyen robots.txt dosyasını oluşturun.

Tüm botlar için varsayılan (User-agent: *)

Engellenecek yollar (her satıra bir)

İzin verilecek yollar (istisnalar)

Site haritası adres(ler)i

Tarama gecikmesi

Google bu kuralı yok sayar.

Arama motoru botları (isteğe bağlı, ayrı kural)

GoogleGooglebot Google GörsellerGooglebot-Image BingBingbot YandexYandexBot DuckDuckGoDuckDuckBot BaiduBaiduspider AppleApplebot

Yapay zekâ botlarını engelle İçeriğinizin yapay zekâ modellerini eğitmek için toplanmasını engeller: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, CCBot, PerplexityBot, Bytespider, Meta-ExternalAgent, Amazonbot. Arama sonuçlarındaki görünürlüğünüzü etkilemez.

robots.txt

Dosyayı sitenizin kök dizinine robots.txt adıyla yükleyin; https://siteniz.com/robots.txt adresinden açılmalıdır.

robots.txt Nedir ve Nasıl Çalışır?

robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi sayfaları tarayıp hangilerini taramamaları gerektiğini söyleyen düz metin dosyasıdır. User-agent satırı kuralın hangi bota uygulanacağını, Disallow taranmayacak yolları, Allow ise bu yollar içindeki istisnaları belirtir. Sitemap satırı botlara site haritanızı gösterir.

Unutmayın: robots.txt bir güvenlik önlemi değildir. Dosya herkes tarafından okunabilir ve kötü niyetli botlar kurallara uymayabilir; gizli kalması gereken sayfaları şifreyle koruyun. Ayrıca taramayı engellemek bir sayfayı arama sonuçlarından tamamen kaldırmaz; bunun için sayfaya noindex etiketi ekleyin ve o sayfayı robots.txt ile engellemeyin.

robots.txt Oluşturucu

robots.txt Nedir ve Nasıl Çalışır?

Diğer ücretsiz araçlar