Robots.txt web sitelerinde arama motorlarına hangi sayfaların taranabileceğini bildiren bir dosyadır.
Web sitesinin ana dizininde bulunan ve arama motorları tarafından taranabilen Robots.txt dosyası ile web sitesindeki hassas veya gizli bilgilerin taranması ve dizine eklenmesi engellenebilir. Ayrıca site içi arama sonuç sayfalarının ve dinamik filtre uygulanan sayfaların taranmasını engellemek gibi çeşitli kullanım amaçları vardır. Aşağıda robots.txt dosyasının kullanımına dair bazı örnekler görebilirsiniz.
Aşağıdaki örnek robots.txt dosyası, bir web sitesindeki tüm sayfaların arama motorları tarafından taranmasına izin verir:
Disallow:
Aşağıdaki örnek robots.txt dosyası, bir web sitesindeki tüm sayfaların arama motorları tarafından taranmasını engeller:
Disallow: /
Aşağıdaki örnek robots.txt dosyası, arama motorlarının web sitesindeki belirli klasörlere veya sayfalara erişimini engeller:
Disallow: /klasor/
Disallow: /sayfa.html
Robots.txt dosyasına site haritası eklemek için kodu kullanabilirsiniz.
User-agent: *
Disallow:
Sitemap: http://www.siteadiniz.com/sitemap.xml
Bu Gönderide 0 Yorum Var