Polat SoftwareSolutions

robots.txt Oluşturucu

Arama motoru ve yapay zekâ botlarının sitenizde neleri tarayabileceğini belirleyen robots.txt dosyasını oluşturun.

Tüm botlar için varsayılan (User-agent: *)

Google bu kuralı yok sayar.

Arama motoru botları (isteğe bağlı, ayrı kural)

    Dosyayı sitenizin kök dizinine robots.txt adıyla yükleyin; https://siteniz.com/robots.txt adresinden açılmalıdır.

    robots.txt Nedir ve Nasıl Çalışır?

    robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi sayfaları tarayıp hangilerini taramamaları gerektiğini söyleyen düz metin dosyasıdır. User-agent satırı kuralın hangi bota uygulanacağını, Disallow taranmayacak yolları, Allow ise bu yollar içindeki istisnaları belirtir. Sitemap satırı botlara site haritanızı gösterir.

    Unutmayın: robots.txt bir güvenlik önlemi değildir. Dosya herkes tarafından okunabilir ve kötü niyetli botlar kurallara uymayabilir; gizli kalması gereken sayfaları şifreyle koruyun. Ayrıca taramayı engellemek bir sayfayı arama sonuçlarından tamamen kaldırmaz; bunun için sayfaya noindex etiketi ekleyin ve o sayfayı robots.txt ile engellemeyin.

    Diğer ücretsiz araçlar

    Tümünü gör
    Çekiliş Yap Kelime Sayacı QR Kod Yüzde Hesaplama KPSS Puan YKS Puan ALES Puan Ehliyet Puan KDV Hesaplama Net-Brüt Maaş Pazaryeri Kâr VKİ Hesaplama Şifre Üretici WordPress Şifre Metin Hash Harf Dönüştürücü Ters Metin Lorem Ipsum IP Sorgulama HTML Önizleme HTML Sıkıştırıcı CSS/JS Sıkıştırıcı JSON Düzenleyici Site Hız Testi SEO Analizi Teknoloji Analizi Whois Sorgulama Domainden IP Renk Dönüştürücü WhatsApp Butonu CV Oluşturucu İstifa Dilekçesi Kira Sözleşmesi Proforma Fatura Görsel Sıkıştırma Vesikalık Fotoğraf Base64 Cron Oluşturucu KVKK Aydınlatma Kaza Tutanağı Emoji Tarayıcı Detayları Kronometre & Sayaç