robots.txt Nedir? Ne İşe Yarar, Ne Yapmaz ve Sık Yapılan Hatalar

Kısa cevap: robots.txt, sitenin kök dizininde bulunan ve arama motoru ile diğer tarayıcılara sitenin hangi bölümlerini taramaları gerektiğini bildiren düz metin dosyasıdır. Dosya taramayı yönetir, dizine eklemeyi değil: engellenen bir sayfa, başka sitelerden bağlantı alıyorsa içeriği okunmadan arama sonuçlarında görünebilir. Bir sayfanın sonuçlarda çıkmaması isteniyorsa noindex etiketi kullanılır ve sayfa taramaya açık bırakılır. robots.txt bir güvenlik önlemi de değildir; kurallara yalnızca iyi niyetli tarayıcılar uyar, gizli içerik şifre ya da yetkiyle korunmalıdır.

robots.txt nasıl çalışır?

Dosya alan adının kökünde, örneğin alanadi.com/robots.txt adresinde yayınlanır ve her alt alan adı için ayrı değerlendirilir. Tarayıcı siteye gelince önce bu dosyayı okur, kendi adına ya da tüm tarayıcılara yazılmış kurallara göre hareket eder.

• User-agent: Kuralın hangi tarayıcı için geçerli olduğunu belirtir; yıldız işareti tüm tarayıcılar anlamına gelir.
• Disallow: Taranmaması istenen yolu belirtir; örneğin yönetim paneli ya da site içi arama sonuçları.
• Allow: Engellenen bir klasörün içindeki belirli bir yola izin verir.
• Sitemap: Site haritasının tam adresini bildirir ve tarayıcıların sayfaları bulmasını kolaylaştırır.

robots.txt ne yapmaz?

• Sayfayı arama sonuçlarından kaldırmaz; bunun için noindex ya da kaldırma araçları kullanılır.
• Hassas dosyaları korumaz; dosya herkese açıktır ve engellenen yolları da ortaya koyar.
• Kötü niyetli botları durdurmaz; bunlar için güvenlik duvarı ve erişim kuralları gerekir.
• Dosyaya yazılan noindex satırı Google tarafından desteklenmez; noindex sayfanın kendisine eklenir.

Sık yapılan hatalar

1. Tüm siteyi engellemek: Test ortamından kalan tüm siteyi engelleyen bir kural yayına taşınır ve site aramalardan düşer. WordPress sitelerde ayarlardaki arama motorlarını engelleme seçeneğinin açık kalması da benzer sonuç doğurur.
2. CSS ve JavaScript dosyalarını engellemek: Arama motorları sayfayı doğru görüntüleyemez ve mobil uyumluluğu yanlış değerlendirebilir.
3. noindex sayfayı ayrıca engellemek: Tarayıcı sayfayı okuyamadığı için noindex etiketini de göremez.
4. Büyük-küçük harf ve yol hataları: Yollar büyük-küçük harfe duyarlıdır; yanlış yazılan kural ya işe yaramaz ya da fazlasını engeller.
5. Kontrol etmemek: Değişikliklerden sonra Search Console üzerinden robots.txt raporu ve URL denetimi ile sonuç doğrulanmalıdır.

Yapay zeka tarayıcıları ve robots.txt

Yapay zeka şirketlerinin tarayıcıları da kendi adlarıyla robots.txt kurallarını okur. Örneğin OpenAI için GPTBot ve OAI-SearchBot, Anthropic için ClaudeBot, Perplexity için PerplexityBot ve Common Crawl için CCBot adları kullanılır. Google-Extended ise Google’ın yapay zeka modellerinde içerik kullanımını yönetmek için tanımlanan bir kontroldür ve Google Arama’daki sıralamayı etkilemez. Yapay zeka yanıtlarında kaynak olarak görünmek isteyen işletmeler bu tarayıcıları engellememelidir; engelleme kararı, içeriğin model eğitiminde ve yapay zeka aramalarında kullanılmasına ilişkin işletme tercihine göre, tarayıcı bazında verilir. Tarayıcı adları zamanla değişebileceği için güncel listeler ilgili şirketin belgelerinden kontrol edilmelidir.

Taranma ve dizine eklenme kontrollerini teknik SEO kontrol listesi, doğrulama araçlarını Google Search Console kurulumu ve kullanımı, yapay zeka görünürlüğünü yapay zeka aramalarında görünürlük yazımızda anlattık.

Sık sorulan sorular

Her sitede robots.txt dosyası olmalı mı?

Zorunlu değildir; dosya yoksa tarayıcılar tüm siteyi taranabilir kabul eder. Yine de yönetim ve arama sayfalarını dışarıda bırakmak ve site haritasını bildirmek için basit bir dosya önerilir.

Bir sayfayı Google sonuçlarından nasıl kaldırırım?

Sayfaya noindex etiketi eklenir ve sayfa robots.txt ile engellenmez; acil durumlarda Search Console’daki kaldırma aracı geçici olarak kullanılabilir. Ayrıntılar Search Console rehberimizde.

Yapay zeka tarayıcılarını engellemek arama sıralamasını etkiler mi?

Yapay zeka tarayıcılarını engellemek klasik arama sıralamasını doğrudan etkilemez; ancak içeriğin yapay zeka yanıtlarında kaynak olarak gösterilme olasılığını azaltabilir. Ayrıntılar yapay zeka aramalarında görünürlük yazımızda.