robots.txt nedir

ABaris
Robots.txt aslında basit bir komut dosyasıdır. Bu komut dosyasıyla birlikte arama motoru botlarının sitenize nasıl erişebeileceğine, içeriklerinizi nasıl tarayacağına ve sitenizin hangi bölümlerinin dizine ekleneceğine siz karar verirsiniz. Arama motoru yazılımları, sitenize geldiğinde öncelikle robots.txt dosyasını tarar ve dosyadaki komutlara göre sitenizin izin verilen sayfalarını dizine ekler. Yani,robots.txt dosyasıyla birlikte sitenizin kontrolü ve sınırları kendi elinizdedir, arama motoru botları da bu sınır dahilinde sitenizi tarayabilir.

Örneğin web sitenizin bazı bölümlerini arama motoru botlarının erişimine kapatmak istiyorsunuz. Bu alanlar bazı kişisel, ya da önemli bilgiler içerebilir ya da indexlenmesini istemeyeceğiniz bir bölüm olabilir. Bu noktada tam olarak ihtiyacınıza cevap veren şey robots.txt dosyası oluyor! Robots.txt dosyası içerdiği komutlarla arama motoru botlarına yön verir. Arama motoru botları da robots.txt’in komutlarına uyar ve sitenizi istediğiniz şekilde tarar.

Sonuç olarak robot.txt dosyası her web sitesi için gerekli bir komut dosyasıdır. Bu noktada dikkat edilmesi gereken bir konu da robots.txt dosyasının doğru hazırlanmış olması gerektiğidir. Yani herhangi bir robots.txt dosyasının varlığı, istediğiniz şekilde bir tarama yapılacağı anlamına gelmez. Önemli olan, robots.txt dosyasının doğru komutlarla hazırlanmış olmasıdır. Yanlış ve eksik olarak hazırlanmış bir robots.txt dosyası arama motoru botları tarafından dikkate alınmayabilir ve taranmasını istemediğiniz dizinler de taranabilir.

neden bekliyorsun?


bu sözlük, duygu ve düşüncelerini özgürce paylaştığın bir platform, hislerini tercüme eden özgür bilgi kaynağıdır.
katkıda bulunmak istemez misin?

üye ol