Bütçeniz Dijitalist'le ciroya dönüşür.
Hangi bölümlerin taranacağını ve hangi botların engelleneceğini seçin; sitenizin kök dizinine yükleyeceğiniz dosyayı hemen indirin.
robots.txt robots.txt
User-agent: *
Disallow:
Nasıl kullanılır
Sitenize uygun şablonu seçin veya engellenecek yolları kendiniz yazın.
Site haritası adresinizi ekleyin; engellemek istediğiniz yapay zekâ botlarını işaretleyin.
Dosyayı indirip sitenizin kök dizinine robots.txt adıyla yükleyin.
Diğer araçlar
Başlık, açıklama, Open Graph ve X etiketlerini canlı Google önizlemesiyle hazırlar; tek tıkla kopyalayın.
Meta ve paylaşım etiketlerini önizlemeyle hazırlar.
Aracı açHTTPS ve www yönlendirmesi, 301 sayfa yönlendirmeleri, gzip, önbellek ve güvenlik başlıklarını tek dosyada üretir.
Yönlendirme, önbellek ve güvenlik kurallarını üretir.
Aracı açİşletme, SSS, ürün, makale ve breadcrumb için Google'a uygun yapılandırılmış veri kodunu formdan üretir.
İşletme, SSS ve ürün için yapılandırılmış veri üretir.
Aracı açSık sorulan sorular
Hayır. robots.txt taramayı engeller, dizine eklemeyi değil. Engellenen bir sayfa başka sitelerden bağlantı alıyorsa içeriği olmadan sonuçlarda görünebilir. Bir sayfayı sonuçlardan çıkarmak için noindex kullanın ve sayfayı taramaya açık bırakın.
Alan adınızın kök dizinine, https://alanadiniz.com/robots.txt adresinden açılacak şekilde. Alt klasöre konan robots.txt dosyası dikkate alınmaz.
Model eğitimi botlarını (GPTBot, ClaudeBot, CCBot, Google-Extended) engellemek içeriğinizin eğitimde kullanılmasını sınırlar. Arama botlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot) engellerseniz yapay zekâ yanıtlarında kaynak olarak görünemezsiniz. Bu yüzden ikisini ayrı seçenekler olarak sunuyoruz.
Googlebot Crawl-delay satırını dikkate almaz; bazı diğer botlar dikkate alır. Sunucunuz zorlanmıyorsa eklemeniz gerekmez.
Bulunan sorunları önem sırasına koyup sizin için düzeltelim; SEO ve yapay zekâ görünürlüğünüzü aylık raporlarla takip edelim.