Bir robots.txt dosyası oluşturmanın en kolay yolu, Web Yöneticisi Araçları’nda robots.txt oluştur aracını kullanmaktır. Dosyayı oluşturduktan sonra robots.txt analizi aracını kullanarak dosyanın istediğiniz gibi davrandığından emin olabilirsiniz.

robots.txt dosyanızı oluşturduktan sonra robots.txt adıyla alanınızın köküne kaydedin. Robotlar, dosyanızı orada arar. Başka bir yere kaydederseniz dosyayı bulamazlar.

Herhangi bir metin düzenleyiciyi kullanarak robots.txt dosyasını el ile de oluşturabilirsiniz. Dosyanın, HTML değil, ASCII kodlu metin dosyası olması gerekir. Dosya adı küçük harfle yazılmalıdır.

robots ayarlari
robots ayarlari

Söz dizimi

En basit robots.txt dosyası iki kural kullanır:

  • User-agent: aşağıdaki kuralın geçerli olduğu robot
  • Disallow: engellemek istediğiniz URL

Bu iki satır, dosyada tek bir giriş sayılır. İstediğiniz kadar çok giriş ekleyebilirsiniz. Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz.

User-agent satırında ne listelenmelidir?

User-agent, belirli bir arama motoru robotudur. Web Robotları Veritabanı‘nda, sık kullanılan pek çok bot listelenir. Bir girişi belirli bir bota (adını listeleyerek) veya tüm botlara (yıldız işareti koyarak) uygulanacak şekilde ayarlayabilirsiniz. Tüm botlara uygulanan bir giriş şöyle görünür:

Google, birbirinden farklı çeşitli botlar (user-agent’lar) kullanır. Bizim web aramamız için kullandığımız bot, Googlebot‘tur. Googlebot-Mobile ve Googlebot-Image gibi diğer botlarımız, Googlebot için belirlediğiniz kurallara uyar, ancak bu botlar için de belirli kurallar ayarlayabilirsiniz.

Disallow satırında ne listelenmelidir?

Disallow satırında engellemek istediğiniz sayfalar listelenir. Belirli bir URL’yi veya kalıbı listeleyebilirsiniz. Girişin düz eğik çizgiyle (/) başlaması gerekir.

  • Sitenin tamamını engellemek için düz eğik çizgi kullanın.
  • Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun.
  • Bir sayfayı engellemek için o sayfayı listeleyin.
  • Belirli bir görseli Google görsel aramasından kaldırmak için şunları ekleyin:
  • Sitenizdeki görsellerin tümünü Google görsel aramasından kaldırmak için:
  • Belirli bir dosya türündeki dosyaları (örneğin, .gif) engellemek için şunları kullanın:
  • Sitenizdeki sayfalarda AdSense reklamları görüntülemeye devam ederken bu sayfaların taranmasını engellemek için Mediapartners-Google dışındaki tüm botları engelleyin. Bu, sayfaların arama sonuçlarında görünmesini engellemekle birlikte Mediapartners-Google robotunun gösterilecek reklamları belirlemek üzere sayfaları analiz etmesine olanak sağlar. Mediapartners-Google robotu, sayfaları diğer Google user-agent’ları ile paylaşmaz. Örneğin:

Komutların büyük/küçük harf duyarlı olduğunu unutmayın. Örneğin, Disallow: /junk_file.asp http://www.example.com/junk_file.asp sayfasını engelleyecek ancak http://www.example.com/Junk_file.asp adresine izin verecektir.

Dize kalıbı eşlemesi

Googlebot, bazı dize kalıbı eşlemelerini gözetir, ancak tüm arama motorları için bu geçerli değildir.

  • Bir karakter sırasıyla eşleşmek için yıldız (*) kullanabilirsiniz. Örneğin, özel ile başlayan tüm alt dizinlere erişimi engellemek için:
  • Soru işareti (?) içeren tüm URL’lere erişimi engellemek için (daha açık belirtmek gerekirse, alan adınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL’leri taramasını engellemek için):
  • URL sonu eşlemeyi belirtmek için $ karakterini kullanın. Örneğin, .xls ile biten tüm URL’leri engellemek için:

    Bu dize kalıbı eşlemesini, Allow yönergesiyle birlikte kullanabilirsiniz. Örneğin, ? bir oturum kimliğini gösteriyorsa bu öğeleri içeren tüm URL’leri dışlayarak Googlebot’un aynı sayfaları taramasını önleyebilirsiniz. Ancak ? ile biten URL’ler, eklenmesini istediğiniz sayfanın sürümü olabilir. Bu durumda, robots.txt dosyanızı aşağıda gösterildiği biçimde ayarlayabilirsiniz:

    Disallow: / *? yönergesi, ? içeren URL’lerin tümünü engeller (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL’lerin tümünü engeller).

    Allow: /*?$ yönergesi, ? ile biten tüm URL’lere izin verir (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından bir dize ve bir ? gelen ve ? işaretinden sonra hiç karakter içermeyen URL’lerin tümüne izin verir).

  • google.com
PAYLAS
Önceki İçerikGoogle PR Değerini Yükseltmek – Çek Listesi
Sonraki İçerikÖzel 404 sayfaları
Bende 1 yumurta var, sende 1 yumurta var. Ben sana 1 yumurta versem, sen bana bir yumurta versen, bende 1 yumurta sende 1 yumurta olur.Bende 1 bilgi var, sende 1 bilgi var. Ben sana 1 bilgi versem, sen bana 1 bilgi versen, bende 2 bilgi, sende de 2 bilgi olur - Konfüçyüs - Yazilarimi artik kuaza da yayinliyorum (zamanim oldukca) :)

1 YORUM

Bir Cevap Yazın