google-logo-halloween-d-miprobots.txt analiz aracı, robots.txt dosyasını Googlebot’un okuduğu gibi okur. Araç bir satırda söz dizimi hatası belirlerse Googlebot söz konusu satırı tanımayacak demektir. Araç bir URL’ye izin verildiğini gösterirse, Googlebot da o URL’yi izin verilmiş olarak tanıyacaktır.

Bu araç yalnızca Google user-agent’ları (Googlebot gibi) sonuçlarını sunar. Diğer botlar ise robots.txt dosyasını aynı şekilde tanımayabilir. Örneğin, Googlebot standart tanımın genişletilmiş bir biçimini destekler. Allow: yönergelerinin yanı sıra bazı şablon eşlemelerini de tanır. Dolayısıyla araç bu uzantıları tanındığı gibi içeren satırları gösterirken, bunun yalnızca Googlebot için geçerli olduğunu ve varsa sitenizi tarayan diğer botlar için geçerli olmayabileceğini unutmayın.

Bir robots.txt dosyası ana makinenin kök dizininde bulunuyorsa, bu araç Google’ın dosya hakkında edindiği aşağıdaki bilgileri listeler:

  • Sitenizdeki geçerli robots.txt dosyasına bir bağlantı.
  • Google dosyayı son indirdiğinde; dosyayı bu tarihten ve saatten sonra değiştirdiyseniz, değişiklikler önbelleğe alınmış sürümümüzde gösterilmeyecektir.
  • Dosyanın durumu – İndirmeye çalıştığımızda aldığımız HTTP yanıtı. (Durum kodları hakkında daha fazla bilgi.) Bir 404 (Dosya Bulunamadı) hatası almamız sorun yaratmaz. Bir robots.txt dosyanız olması gerekmiyor; ancak yoksa, botlar sitenizdeki sayfaların tümünü tarayabilir.
  • MIME türü – Metin dosyası olmayan dosya türlerini işleme koyamayız.
  • robots.txt dosyasının ana sayfanıza veya gönderdiğiniz Site Haritalarına erişimi engelleyip engellemediği.
  • Dosyadaki satırları çözümlemede sorun yaşayıp yaşamadığımız.

Bir sitenin robots.txt dosyasını analiz etmek için:

Bir Cevap Yazın