Robots.TXT vs Nofollow Metatag

Bugün sizlere, sayfalarınızın google indekslerinde yer almasını engellemek için mevcut 2 bloklama
metodlarının arasındaki farktan bahsedeceğim. Bildiğiniz üzere Google'ın
bir sayfa, dizin, çeşitli mime
türleri veya çeşitli uygulama ve yönetim panelinizi indeklerine
almaması gerektiğini söylemek için 2 yol var. Bunlardan birincisi
robots.txt dosyası üzerinden disallow komutunu uygulamak; diğeri ise
"noindex,nofollow" parametrelerini kullandığımız robots metatagı.
E-Ticaret siteleri ağırlıklı olmak üzere çeşitli parametrelerle
veri çeken sayfalarda, kullanım kolaylığı sağlaması açısından genellikle
robots.txt kullanılıyor. Fakat bazen insanlar neden bunu metatag ile yapılmaması gerektiğini veya yapılmadığını soruyor? Bunun nedenini şu şekilde açıklayayım:

Robots.txt: Googlebotlar ortalama günde 1 defa bu
dosyayı indirir ve verilen direktifler doğrultusunda tarama işlemini
gerçekleştirir. Bu yüzden buradan engellenen dosyalar google tarafından
ziyaret edilmeden pas geçilir. Robots.TXT dosyasının kullanımını daha önce anlatmıştım.

Metatag: Googlebot bir sayfayı taramak için içine girer ve metatag'da
belirtilen direktifler doğrultusunda yoluna devam eder
(nofollow,noindex - follow,noindex gibi). Eğer sayfalarınızı metatag ile
nofollow, noindex demeniz gerekiyorsa, server masraflarınızı minimize
etmek için engellemeyi robots.txt dosyasından gerçekleştirmeniz
öneririm. Böylelikle googlebot gereksiz yere sayfanızı indirmeyecek ve
bandwidth tasarrufu sağlamış olacaksınız.

Özetle metatagdan verilecek nofollow direktifinin uygulanması için
sayfanın bot tarafından çekilmesi gerekiyor. Ayrıca gereksiz bir kaynak
kod oluşturacağı için noindexlerinizi, robots.txt dosyasından
engellemenizde yarar var. Aslında daha önceden kullanmama rağmen
engelleme işlemi için 3üncü yol, HTTP response header ile "X-Robots-Tag: noindex" bilgisi göndermeniz. Bu yolu kullanmak henüz nasip olmadı fakat az önce robots.txt için yaptığım açıklama önemini korumaktadır.