Web sitesinin crawl sürecini organize etmemize yardımcı olan robots.txt’de kullanabileceğimiz komutlardan biri olan disallow komutu; arama motoru botlarının crawl etmesini istemediğimiz sayfa ve/veya sayfaları ifade etmemizi sağlar.
Robots.txt’yi aşağıdaki şekilde kurguladığımızı varsayarsak;
User-agent: Googlebot
Disallow: /deneme/
deneme URL path’inin Googlebot user-agent’ı tarafından crawl akışına dahil edilmesini istemediğimizi söyleriz. Canonical tag gibi disallow komutu da doğru kullandığı takdirde tarama bütçesi optimizasyonuna yardımcı olur.
