robots.txt; web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp tarayamayacaklarını bildiren basit bir metin dosyasıdır. Tarama davranışını yönetmenin temel aracıdır.
Ne işe yarar?
robots.txt ile yönetim panelleri, arama sonuçlarında görünmesini istemediğiniz teknik sayfalar gibi alanların taranmasını engelleyebilirsiniz. Böylece botların 'tarama bütçesini' önemli sayfalara odaklarsınız. Ayrıca sitemap adresinizi de burada belirtmek iyi bir uygulamadır.
Dikkat edilmesi gerekenler
robots.txt taramayı engeller ama bir sayfanın gizli kalacağını garanti etmez; gerçekten gizlenecek içerik için farklı yöntemler (noindex, şifre) gerekir. Yanlış bir engelleme kuralı, tüm sitenizin Google'dan düşmesine yol açabilir; bu yüzden dikkatli yapılandırılmalıdır.
Doğru kullanım
Çoğu küçük site için sade bir robots.txt yeterlidir: botlara genel erişim verip yalnızca gerekli alanları engellemek ve sitemap adresini eklemek. Değişikliklerden sonra Search Console'daki test araçlarıyla kuralların doğru çalıştığını kontrol etmek önemlidir.
⚡ Özetle
- robots.txt, botların taramasını yönetir.
- Taramayı engeller ama gizliliği garanti etmez.
- Yanlış kural siteyi düşürebilir; test edin.
Sık Sorulan Sorular
robots.txt şart mı?
Sayfayı gizler mi?
Yanlış kural riski var mı?
Bu konuda profesyonel destek mi istiyorsunuz?
SAVA Dijital Pazarlama olarak işletmenize özel, sonuç odaklı çözümler sunuyoruz. İlk analiz ücretsiz.