Hemen Göz Atın!
En yalın haliyle bir web sitesinin hedef kelime gruplarında görünür olma ve potansiyel kitlesine ulaşma süreci olarak özetleyebileceğimiz arama motoru optimizasyonunda sıklıkla karşılaştığımız kavramların başında robots.txt gelir.
Robots.txt Nedir?
Robots.txt; bir web sitesinin crawl akışını farklı arama motoru botlarında yönetmek adına kullanılan ve birçok farklı komut (user-agent, disallow, allow, sitemap vb.) ile şekillendirilebilen bir dosya türü olarak tanımlanabilir.
Crawl sürecine doğrudan temas etmesi itibariyle teknik SEO’nun önemli kavramlarından biri olan robots.txt’de doğru kurgu (hangi sayfaların taranmaması ya da taranması gerektiğinin ifadesi) hayli önemlidir.
Robots.txt Neden Önemlidir?
Robots.txt’nin bir web sitesinin SEO görünürlüğü üzerindeki etkisi ve önemi doğrudan crawl budget (tarama bütçesi) ile ilgilidir.
Google’ın robots.txt guide’larında ve farklı kaynaklarda net bir şekilde ifade ettiği üzere arama motoru botları bir web sitesini ziyaret ettiğinde, crawl sürecini başlatmak adına robots.txt dosyasını inceler. (Robots.txt botlar için ilk seçenektir fakat olmaması durumunda diğer alternatifler ile herhangi bir engel yoksa web sayfaları crawl edilmeye devam eder.)
Dolayısıyla robots.txt dosyasında taranması ya da taranmaması gereken URL yapılarını doğru organize etmediğimiz takdirde SEO görünürlüğü hedeflediğimiz sayfalara arama motoru botlarının ulaşmasını engelleyebilir ya da web sitemiz akışı içerisinde yer almasına karşın görünürlük hedeflediğimiz ve değer üretmeyen web sayfalarının gereksiz bir şekilde crawl akışına dahil edilmesine zemin hazırlayarak crawl budget’ın anlamsız kullanımına neden olabiliriz.
Tüm bunlara baktığımızda robots.txt’nin arama motoru botlarının crawl sürecini organize etmesi ve crawl budget (tarama bütçesi) optimizasyonuna yardımcı olması itibariyle SEO’nun önemli kavramlarından biri olduğunu söyleyebiliriz.
Robots.txt Nasıl Oluşturulur?
Robots.txt oluştururken kullanılabilecek birçok farklı komut vardır fakat bu komutlardan en önemlileri “User-Agent ve Disallow”dur.
User-Agent Nedir?
User-Agent; robots.txt’de direktif vermek istediğimiz (disallow, allow) arama motoru botunu belirlerken ihtiyaç durumundan birden fazla kullanabileceğimiz bir komuttur.
Disallow Nedir?
Disallow; arama motoru botlarının crawl akışına dahil etmesini istemediğimiz sayfa ya da sayfaları ifade etmemize yarayan bir komuttur.
Senaryo 1
User-agent: *
Disallow: /blog/
komutları, arama motoru botu fark etmeksizin tüm botlar için /blog/ URL path’inin crawl akışına dahil edilmemesini ifade eder. Burada “*” işareti “tüm” anlamına gelir.
Senaryo 2
User-agent: *
Disallow: /
dersek bir web sitesinin tümünü crawl’a kapatabiliriz.
Senaryo 3
User-agent: Googlebot
Disallow: /kategori/
Disallow: /urun/deneme-urunu.html
Komutları, Googlebot user-agent’ı ile gelen bir crawl isteğinde /kategori/ URL path’inin ve /urun/deneme-urunu.html sayfasının crawl akışına dahil edilmemesini ifade eder.
Senaryo 4
User-agent: Googlebot
Allow: /deneme/
Disallow: /blog/
Not: Bu satıra kadar olan komutlar Googlebot User-agent’ı için geçerlidir çünkü bir alttaki satırde YandexBot User-agent için komutlar yer alır.
User-agent: YandexBot
Allow: /blog/
Disallow /deneme/
Bu örnekte Googlebot User-agent’ı için /blog/ URL path’inin crawl akışına dahil edilmemesi istenirken, YandexBot için /deneme/ URL path’inin crawl edilmemesi komutu gönderilir.
Robots.txt Oluşturulurken Dikkat Edilmesi Gerekenler?
Txt dosyası oluşturmaya ve düzenlemeye izin veren herhangi bir editör aracılığıyla oluşturulabilecek robots.txt’de dikkat edilmesi gereken nokta; dosyanın adının mutlaka “robots”, uzantısının ise “.txt” olması ve UTF-8 karakter kodlaması ile kurgulanması gerektiğidir.
Arama motoru botlarının ilk anda göz attığı bir dosya olması itibariyle robots.txt’de bir yönerge niteliği taşıyan site haritasına yer vermek önemlidir.
Robots.txt’ye ekleyeceğimiz;
Sitemap: https://www.erentcolak.com.tr/sitemap.xml (Web sitesinin Sitemap’i)
satırı ile arama motoru botlarının site haritamıza ulaşmasına yardımcı olabiliriz.
Robots.txt Dosyası Nerede Bulunmalıdır?
Robots.txt, doğrudan site ana dizinine konumlandırılması gereken bir dosyadır.
Örneğin; www.erentcolak.com.tr‘nin robots.txt dosyasının sorunsuz çalışabilmesi adına www.erentcolak.com.tr/robots.txt şeklinde kurgulanması gerekir.
Robots.txt Test Aracı
Oluşturmayı hedeflediğimiz robots.txt kurgusunu canlıya almadan önce Google’ın sunduğu Robots.txt Test Aracı’nda inceleyebilir, böylelikle olası hataları ya da eklemek istediğimiz farklı noktaları henüz robots.txt canlıda değilken tespit edebiliriz.
https://www.google.com/webmasters/tools/robots-testing-tool ile araca erişim sağladıktan sonra hangi web sitesi için test yapmak istediğimiz seçmemiz gerekir.
Google bu noktada eğer halihazırda Console doğrulamasını yapmadığımız bir web sitesi olma ihtimaline karşın “yeni bir mülk ekleme” seçeneği de sunuyor.
Web sitesi seçimi yaptıktan sonra karşımıza çıkan ekranda mevcuttaki robots.txt dosyamızı ve test alanını görebiliyoruz.
Bu ekranda robots.txt dosyamıza ekleme ya da çıkarma yapabilir, aldığımız değişimlerin etkilerini hemen altta yer alan test çubuğu aracılığıyla görebiliriz.
Örneğin; “seo” path’ine sahip URL’ler için robots.txt’ye Disallow: /seo/ satırı ekledik. Bu satırın işe yarayıp yaramadığını anlık olarak test ettikten sonra herhangi bir yazım hatası vb. durum varsa hızlıca düzenleyebilir ve sonrasında optimum robots.txt’yi canlıya alabiliriz.
Robots.txt test aracının dikkat çeken özelliklerinden biri farklı “spider” türleri ile test imkanı sunmasıdır. “Test” butonunun solunda yer alan alana tıklayarak farklı bot çeşitleri için test işlemi gerçekleştirebiliriz.
Eğer test sonucunda “Engellendi” çıktısını alıyorsak tettiğimiz URL oluşturduğumuz robots.txt kurgusu ile engelleniyor demektir. Fakat “Kabul Edildi” çıktısını alıyorsak arama motoru botları ilgili URL ya da URL’lerimize erişebiliyordur.
Robots.txt Test Aracıyla İlgili: https://support.google.com/webmasters/answer/6062598
Robots.txt’de Kullanımı Zorunlu Mudur?
Hayır, robots.txt kullanımı noktasında herhangi bir zorunluluk yoktur fakat robots.txt çoğu zaman crawl akışını yönetmek için en ideal yapı olması ile ön plana çıkar.
Web sitenizin robots.txt dosyası olmadığında da arama motoru botları web sayfalarınızı tarayarak dizine ekleyebilir.
Robots.txt’de Allow Komutu Kullanılmalı Mıdır?
Arama motoru botları tarafından crawl edilmesini istediğimiz URL’ler için robots.txt’de allow komutu kullanmamıza gerek yoktur.
Farklı tekniklerle aksi belirtilmediği takdirde (disallow, robots meta tag) takdirde arama motoru botları akış içerisinde yer alan web sayfalarımızı tarayacaktır.
Bir Web Sitesinde Birden Fazla Robots.txt Olabilir Mi?
Hayır, web sitesinin tek bir benzersiz robots.txt dosyası olmalıdır. Farklı bot türleri için crawl akışını bu robots.txt üzerindeki komutlarla düzenlemek gerekir.
Robots.txt’de ve Robots Meta Tag Arasındaki Farklar Nelerdir?
Robots.txt bir web sayfasının erişim durumunu yani crawl akışı içerisine dahil edilip edilmeyeceğini belirlemek için kullanılırken robots meta tag, bir web sayfasının dizine eklenme durumunu (örneğin; bir web sayfası noindex,nofollow olarak tag’lenebilir) kontrol eder.
Robots meta tag’in arama motoru botları tarafından anlamlandırılması için web sayfasının taranması yani crawl akışında olması gerekir. Sayfa tarandıktan sonra botlar robots meta tag’deki yönergeleri dikkate alabilir.
