Robots.txt Nedir?Nasıl Oluştururum?Nasıl Kaydederim?

Robots.txt

Web dünyasının gelişmesi ile gün geçmeden bir çok yeni uygulama ve sistemler geliştirilmektedir.

Robots.txt arama motorları robotlarının sitenizde ulaşmasını veya erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Bu dosya küçük bir protokola sahip olan Robotları Engelleme Standardını kullanmaktadır.

Robots.txt dosyasını eğer siteniz arama motorlarının bünyesine eklememesi gereken bir içeriğe sahipse bunu sağlamak ve engellemek amacıyla kullanılır. Kısacası sitenizde arama motorlarında çıkmasını istemediğiniz bir bölümü veya alanı var ise burayı arama motorlarından gizlemenizi sağlar diyebiliriz.

Robots.txt Dosyasını Nasıl Oluştururum?

Robots.txt dosyasını oluşturabilmeniz için öncelikle sitenizin kök dizinine ulaşabilmeniz gerekmektedir. Eğer sitenizin kök dizinine erişip erişemediğiniz hakkında bilginiz yok ise alan sağlayıcınız ile görüşerek bu sorunu çözme imkanına sahipsiniz.

İnternetten ulaşabileceğiniz çeşitli robots.txt test araçları bulunmaktadır. Bu araçlar sayesinde kök dizinizde bir Robots.txt dosyası oluşturabilir veya bu dosyayı değiştirebilirsiniz.

Basit bir Robots.txt dosyası oluşturmanız için iki anahtara ihtiyacınız olacaktır. bunlar Disallow ve User-Agent anahtarlarıdır. Dİsallow komutu erişilmemesini istediğiniz bir URL yi devre dışı bırakır. Aynı zamanda eğer erişilmesini istemediğiniz bir URL’nin alt URL’lerine erişilmesini istiyorsanız ozaman User-Agent komutu bunu sizin için yapacaktır.

Robots.txt Dosyalarımı Nasıl Kaydederim?

Çeşitli arama motorlarınızın sitenizin kök dizinine geldiğinde Robots.txt dosyasını bulup, analiz edip, onaylayabilmesi için bu oluşturduğunuz veya değiştirdiğiniz dosyayı kaydetmeniz gerekmektedir. Bunun için basit birkaç adımı takip etmeniz işinizi çözecektir.

-          Öncelikle Robots.txt dosyanızı metin formatında kaydetmeniz gerekmektedir.

-          Oluşturduğunuz robots.txt dosyanızı sitenizin en üst kök dizinine yada ana başlığın dizinine koymanız gerekmektedir.

-          Oluşturduğunuz dosyanın adını mutlaka robots.txt olarak ayarlamanız ve bu şekilde kaydetmeniz gerekmektedir. Eğer farklı bir isimde kaydeder iseniz yapılması gereken görevi yapmayacak dolayısıyla arama motoru robotları veya böcekleri dosyanızı bulup tanıyamayacaktır.

Teknolojinin ve web dünyasının gelişmesi ile artık günümüzde bir çok farklı yöntem ile robots.txt dosyaları oluşturulabilmekte veya oynama yapılabilmektedir. İnternetten gerekli araçlara ulaşmanız bir hayli kolay ve mümkündür. Attık her site sahibi veyahut yöneticisi bu sistemi kullanmaktadır.

En Popüler Google Chrome Eklentileri

Popüler Google Chrome eklentileri, Google Chrome tarayıcısını değerli kılan eklentiler… Bu eklentiler, Chrome’un diğer tarayıcılardan daha önde yer almasını sağlıyor. Popülerliklerinin nedeni, elbette ki kullanışlı ve gözde olmaları… Kendileri de en az birer tarayıcı vazifesi gören bu eklentiler, bilgisayarınızda büyük boyutlu programlar ile yapılabilecek bazı işleri, ufak boyutlu kapsamları ile gerçekleştiriyor. Şimdi sizlere o programlardan seçkiler sunacağız.

SecBrowsing

İnternete girerken kullandığınız birçok programın güvenlik açısından dünyanın en eksik ve güvenliksiz programları olması, bu eklentiyi önemli kılıyor. Bir güvenlik eklentisi olan SecBrowsing eklentisi sayesinde temel güvenlik eksikliklerini giderecek ve internete bağlanırken daha rahat olabileceksiniz. Bu eklenti daha çok programların güvenlik ile ilgili güncellemelerini sizler yerine kontrol ediyor ve etkin hale getiriyor. Bu eklenti ile güncellenmemiş bütün güvenlik tedbirleri güncellenecek. Eklenti ayrıca sizi ara sıra güvenlik açıklarına dair uyarıyor.

Goo.gl URL Shortener

Bir link kısaltma eklentisi olan bu eklenti sayesinde, uzunca linkleri özel bir çaba göstermeden kısaltmış olacaksınız. Google altyapısı ile kısaltılan linkler, Goo.gl URL Shortener eklentisiile doğrudan tarayıcınızda gözükecek. Link kısaltmaya sürekli ihtiyaç duyuyorsanız, bu eklenti sizin işinizi çok kolaylaştıracak. Gerek link kısaltma sitelerinin kalitesizliği olsun, gerekse de yoğun reklam içermeleri olsun sizi bu eklentiye yöneltecek. Bu eklenti ile Google’ın kaliteli link kısaltma uygulaması, kuvvetli bir eklenti olarak, tarayıcınızda yerini bulacak.