Robots.txt Nedir?Nasıl Oluştururum?Nasıl Kaydederim?

Robots.txt

Web dünyasının gelişmesi ile gün geçmeden bir çok yeni uygulama ve sistemler geliştirilmektedir.

Robots.txt arama motorları robotlarının sitenizde ulaşmasını veya erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Bu dosya küçük bir protokola sahip olan Robotları Engelleme Standardını kullanmaktadır.

Robots.txt dosyasını eğer siteniz arama motorlarının bünyesine eklememesi gereken bir içeriğe sahipse bunu sağlamak ve engellemek amacıyla kullanılır. Kısacası sitenizde arama motorlarında çıkmasını istemediğiniz bir bölümü veya alanı var ise burayı arama motorlarından gizlemenizi sağlar diyebiliriz.

Robots.txt Dosyasını Nasıl Oluştururum?

Robots.txt dosyasını oluşturabilmeniz için öncelikle sitenizin kök dizinine ulaşabilmeniz gerekmektedir. Eğer sitenizin kök dizinine erişip erişemediğiniz hakkında bilginiz yok ise alan sağlayıcınız ile görüşerek bu sorunu çözme imkanına sahipsiniz.

İnternetten ulaşabileceğiniz çeşitli robots.txt test araçları bulunmaktadır. Bu araçlar sayesinde kök dizinizde bir Robots.txt dosyası oluşturabilir veya bu dosyayı değiştirebilirsiniz.

Basit bir Robots.txt dosyası oluşturmanız için iki anahtara ihtiyacınız olacaktır. bunlar Disallow ve User-Agent anahtarlarıdır. Dİsallow komutu erişilmemesini istediğiniz bir URL yi devre dışı bırakır. Aynı zamanda eğer erişilmesini istemediğiniz bir URL’nin alt URL’lerine erişilmesini istiyorsanız ozaman User-Agent komutu bunu sizin için yapacaktır.

Robots.txt Dosyalarımı Nasıl Kaydederim?

Çeşitli arama motorlarınızın sitenizin kök dizinine geldiğinde Robots.txt dosyasını bulup, analiz edip, onaylayabilmesi için bu oluşturduğunuz veya değiştirdiğiniz dosyayı kaydetmeniz gerekmektedir. Bunun için basit birkaç adımı takip etmeniz işinizi çözecektir.

-          Öncelikle Robots.txt dosyanızı metin formatında kaydetmeniz gerekmektedir.

-          Oluşturduğunuz robots.txt dosyanızı sitenizin en üst kök dizinine yada ana başlığın dizinine koymanız gerekmektedir.

-          Oluşturduğunuz dosyanın adını mutlaka robots.txt olarak ayarlamanız ve bu şekilde kaydetmeniz gerekmektedir. Eğer farklı bir isimde kaydeder iseniz yapılması gereken görevi yapmayacak dolayısıyla arama motoru robotları veya böcekleri dosyanızı bulup tanıyamayacaktır.

Teknolojinin ve web dünyasının gelişmesi ile artık günümüzde bir çok farklı yöntem ile robots.txt dosyaları oluşturulabilmekte veya oynama yapılabilmektedir. İnternetten gerekli araçlara ulaşmanız bir hayli kolay ve mümkündür. Attık her site sahibi veyahut yöneticisi bu sistemi kullanmaktadır.