robots.txt Nedir?
robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi bölümleri tarayıp hangilerine girmemeleri gerektiğini söyleyen düz metin dosyasıdır. Googlebot dahil tüm saygın botlar bir siteyi taramaya başlamadan önce bu dosyayı okur ve kurallarına uyar. Dosya yoksa botlar her yeri tarayabilir; yanlış yazılmışsa sitenizin tamamı aramadan düşebilir — tek karakterlik bir hata ile bu kadar büyük sonuç doğurabilen az dosya vardır. Bu araç, standarda uygun bir robots.txt dosyasını elle yazım hatası riski olmadan üretir: engellenecek yolları ve site haritası adresinizi girin, kopyalamaya hazır dosyanızı alın.
robots.txt Nasıl Oluşturulur?
- Genel erişimi seçin: "Tüm botlara izin ver" normal siteler içindir; "tümünü engelle" yalnızca yayında olmayan test siteleri için kullanılmalıdır.
- Engellenecek yolları yazın: /admin, /sepet, /uye gibi botların girmemesi gereken en fazla 5 yol. Baştaki eğik çizgiyi unutsanız da araç ekler.
- Gerekirse istisna tanımlayın: Engellenen bir klasörün içinde taranmasını istediğiniz tek bir yol varsa Allow satırıyla açın.
- Sitemap adresinizi ekleyin: Site haritanızın tam URL'sini yazın; botlar dosyayı okuduğunda haritanızı da bulur.
- Kopyalayıp kök dizine koyun: Çıktıyı robots.txt adıyla kaydedin; siteniz.com/robots.txt adresinden erişilebilir olmalıdır.
Satırlar Ne Anlama Geliyor?
- User-agent: * — kuralların tüm botlar için geçerli olduğunu söyler. Bu araç tek grupluk, tüm botlara aynı kuralı uygulayan dosya üretir; bot bazlı özel kurallar gerekiyorsa dosyayı elle genişletebilirsiniz.
- Disallow: /admin — /admin ile başlayan tüm adreslerin taranmasını engeller. Boş Disallow satırı ise "her yer serbest" demektir; araç, hiç yol girmediğinizde standardın önerdiği bu açık biçimi kullanır.
- Allow: /admin/yardim — engellenen bölge içinde istisna açar; Google ve modern botlar bu yönergeyi destekler.
- Sitemap: https://siteniz.com/sitemap.xml — site haritanızın yerini bildirir; birden fazla haritanız varsa satırı çoğaltabilirsiniz.
Neleri Engellemelisiniz, Neleri Engellememelisiniz?
Tipik engelleme adayları: yönetim panelleri, sepet ve ödeme adımları, üye sayfaları, site içi arama sonuçları ve sonsuz kombinasyon üreten filtre parametreleri. Bunlar arama sonuçlarında işi olmayan, tarama bütçesini boşa harcatan sayfalardır. Buna karşılık CSS ve JavaScript dosyalarını engellemeyin: Google sayfayı görsel olarak işleyerek değerlendirir; stil dosyalarına erişemeyen bot, sayfanızı bozuk görür ve mobil uyumluluk değerlendirmesi zarar görebilir. En kritik uyarı da şudur: robots.txt bir güvenlik aracı değildir. Dosya herkese açıktır; "Disallow: /gizli-panel" yazmak, o adresi saklamak şöyle dursun, kötü niyetli kişilere ilan etmektir. Gizlilik gerektiren sayfalar şifre korumasıyla korunmalıdır.
robots.txt ve Yapay Zeka Botları
Dosyanın önemi son yıllarda yeni bir boyut kazandı: siteleri artık yalnızca arama motorları değil, GPTBot ve ClaudeBot gibi yapay zeka şirketlerinin botları da tarıyor ve bu içerik, yapay zeka asistanlarının kullanıcılara verdiği cevaplara kaynaklık ediyor. robots.txt, bu botlara karşı tavrınızı beyan ettiğiniz yerdir: kapıyı açarsanız içeriğiniz yapay zeka cevaplarında görünme şansı elde eder, kapatırsanız bu yüzeydeki görünürlükten vazgeçmiş olursunuz — işletme tanıtım sitesi için genellikle açık tutmak mantıklıdır. Bu araç tüm botlara aynı kuralı uygulayan tek gruplu dosya üretir; belirli bir yapay zeka botuna farklı kural koymak isterseniz ürettiğiniz dosyaya o botun adıyla ek bir User-agent grubu yazmanız yeterlidir.
Sık Yapılan Hatalar
- Yayına geçerken engeli unutmak: Test sürecindeki "tümünü engelle" dosyası canlıya taşınırsa siteniz aramadan tamamen düşer; yayın öncesi kontrol listenize ekleyin.
- Engellemeyi noindex sanmak: Taranması engellenen sayfa, başka sitelerden link alıyorsa yine de indekste görünebilir. Sayfayı aramadan kaldırmak için noindex etiketi gerekir — üstelik noindex'in görülebilmesi için sayfanın taranabilir olması şarttır.
- Yanlış yerleştirme: Dosya alt klasörde (/blog/robots.txt) çalışmaz; yalnızca kök dizinde geçerlidir. Dosya adı da tamamen küçük harf olmalıdır.
- Test etmemek: Dosyayı yükledikten sonra Google Search Console'daki robots.txt raporuyla kurallarınızın beklediğiniz gibi çalıştığını doğrulayın.
Neden Önemli?
robots.txt, teknik SEO'nun kapı zilidir: botların sitenizle ilk temas noktası burasıdır ve buradaki bir hata, içerik ne kadar iyi olursa olsun görünürlüğü sıfırlayabilir. Doğru yapılandırılmış dosya, tarama bütçesini değerli sayfalarınıza yönlendirir ve site haritanızı botlara duyurur. Girdiğiniz bilgiler sunucuda saklanmaz; dosya anlık üretilir ve yalnızca size döner. Botların sayfalarınızı yalnızca taraması değil, doğru anlaması için Schema.org Oluşturucu ile yapılandırılmış veri ekleyebilirsiniz; teknik SEO'nun tamamını uzmana bırakmak isterseniz SEO optimizasyonu hizmetimize göz atın.