Kategoriler
Webmaster yardım

robots.txt analiz aracı, robots.txt dosyasını Googlebot’un okuduğu gibi okur.

google-logo-halloween-d-miprobots.txt analiz aracı, robots.txt dosyasını Googlebot’un okuduğu gibi okur. Araç bir satırda söz dizimi hatası belirlerse Googlebot söz konusu satırı tanımayacak demektir. Araç bir URL’ye izin verildiğini gösterirse, Googlebot da o URL’yi izin verilmiş olarak tanıyacaktır.

Bu araç yalnızca Google user-agent’ları (Googlebot gibi) sonuçlarını sunar. Diğer botlar ise robots.txt dosyasını aynı şekilde tanımayabilir. Örneğin, Googlebot standart tanımın genişletilmiş bir biçimini destekler. Allow: yönergelerinin yanı sıra bazı şablon eşlemelerini de tanır. Dolayısıyla araç bu uzantıları tanındığı gibi içeren satırları gösterirken, bunun yalnızca Googlebot için geçerli olduğunu ve varsa sitenizi tarayan diğer botlar için geçerli olmayabileceğini unutmayın.

Bir robots.txt dosyası ana makinenin kök dizininde bulunuyorsa, bu araç Google’ın dosya hakkında edindiği aşağıdaki bilgileri listeler:

Kategoriler
Webmaster yardım

Sitenize erişimi denetlemek için bir robots.txt dosyası kullanma

Bir robots.txt dosyası oluşturmanın en kolay yolu, Web Yöneticisi Araçları’nda robots.txt oluştur aracını kullanmaktır. Dosyayı oluşturduktan sonra robots.txt analizi aracını kullanarak dosyanın istediğiniz gibi davrandığından emin olabilirsiniz.

robots.txt dosyanızı oluşturduktan sonra robots.txt adıyla alanınızın köküne kaydedin. Robotlar, dosyanızı orada arar. Başka bir yere kaydederseniz dosyayı bulamazlar.

Herhangi bir metin düzenleyiciyi kullanarak robots.txt dosyasını el ile de oluşturabilirsiniz. Dosyanın, HTML değil, ASCII kodlu metin dosyası olması gerekir. Dosya adı küçük harfle yazılmalıdır.