Allow/Disallow komutu, bir web sitesinin robots.txt dosyasında kullanılan bir yönergeler setidir. Allow/Disallow, arama motoru botlarına hangi sayfaların taranmasına izin verileceği veya engelleneceği konusunda talimat verir.
Arama motorları, web sitelerinin içeriğini tararken robots.txt dosyasını kullanır. Bu dosya web sitesinin ana dizininde bulunur.
Örneğin, bir web sitesi sahibi, bir web sitesinin içinde yer alan bir klasörü arama motorlarından gizlemek istiyorsa, bu klasöre Disallow komutu ekleyerek arama motorları tarafından taranmasını engelleyebilir. Benzer şekilde, bir web sitesi sahibi, ödeme sayfası veya müşteri bilgileri içeren sayfaları arama motorlarının taramasına izin vermek istemiyorsa, bu sayfalara Disallow komutu ekleyerek arama motorlarının tarayamayacağı şekilde ayarlayabilir.
Aşağıda Allow/Disallow komutları ile oluşturulan örnek bir robots.txt dosyasının içeriğini görebilirsiniz.
User-agent: *
Disallow: /private/
Disallow: /admin/
User-agent: Googlebot
Allow: /blog/archive/
User-agent: Bingbot
Allow: /public/
Allow: /images/
Bu örnekte, web sitesi sahibi tüm arama motorları için Disallow komutu kullanarak “private” ve “admin” klasörlerinin taranmasını engellemiş ancak, Googlebot için “blog/archive” klasörüne Allow komutu ekleyerek, Googlebot’un bu klasörü taramasına izin vermiştir. Bingbot için ise “public” ve “images” klasörüne Allow komutu eklenerek, bu klasörün Bingbot tarafından taranması engellenmiştir.
Bu Gönderide 0 Yorum Var