Robots.txt, arama motoru botlarına sitenizde nereleri tarayabileceklerini söyleyen küçük bir metin dosyasıdır. Bu rehberde robots.txt'nin ne olduğunu ve nasıl kullanıldığını açıklıyoruz.
Robots.txt nedir?
Robots.txt, sitenizin kök dizininde bulunan ve arama motoru botlarına yönergeler veren bir dosyadır. Hangi bölümlerin taranabileceğini ya da taranmaması gerektiğini belirtir. Ayrıca genellikle sitemap adresini de içerir.
Robots.txt ne işe yarar?
- Yönetim veya teknik dizinlerin taranmasını engeller.
- Tarama bütçesini önemli sayfalara yönlendirir.
- Sitemap konumunu arama motorlarına bildirir.
Sık yapılan hata
En yaygın hata, yanlışlıkla tüm sitenin taranmasını engelleyecek bir kural yazmaktır. Bu durumda sayfalarınız Google'da görünmez. Bu yüzden robots.txt değişiklikleri dikkatle yapılmalıdır.
Sonuç
Robots.txt, doğru kullanıldığında taramayı verimli hâle getiren güçlü bir araçtır. Önemli sayfaların engellenmediğinden emin olmak, teknik SEO'nun temel kontrollerinden biridir.