WordPress SEO Uyumlu Robots.txt Dosyası Hazırlama/ Robots.txt Nasıl Olmalı

0

Bir çok kişi Robots.txt dosyasının ne işe yaradığını ve aslında ne kadar önemli olduğunu bilmiyor. Bu yazımızda WordPress SEO Uyumlu Robots.txt Dosyası SEO için öneminden bahsedip örnek bir Robots.txt dosyası hazırlayacağız.

Robots.txt dosyası, siteniz ile arama motorları arasındaki bağlantıyı sağlayan ve sitenizin SEO performansını doğrudan etkileyen bir dosyadır. Robots.txt dosyası ile arama motoru botlarına sitenizde hangi verileri ve hangi içerikleri indekslemesi gerektiğini anlatan komutlar verebilirsiniz. Aynı zamanda Robots.txt dosyanıza sitemap adresini ekleyip botların Sitemap.xml adresinizi de ziyaret etmesini sağlayabilirsiniz.

 

Robots.txt Dosyası Nerededir? Nasıl Oluşturulur?

Robots.txt dosyası genellikle FTP adresinizde, sitenizin bulunduğu ana dizindedir. Robots.txt dosyasını düzenlemek / oluşturmak için cPanel Dosya Yöneticisini veya çeşitli FTP bağlantı programlarını kullanabilirsiniz. Robots.txt dosyası sıradan bir TXT dosyasıdır ve Notepad gibi basit bir yazı editörü ile oluşturulabilir. Not Defteri ile oluşturacağınız bir yeni metin belgesini, robots.txt olarak adlandırıp sitenizin ana dizinine atmanız yeterli.

Eğer sitenizin ana dizininde bir Robots.txt dosyası bulunmuyorsa, hemen bir tane oluşturmanızı şiddetle tavsiye ediyoruz.

Robots.txt dosyası aynı zamanda sitenizin güvenliği için de oldukça önemli bir yere sahiptir. Sitenizin ana dizininde bulunan readme dosyası WordPress sitenizin versiyonunu ortaya çıkarabilir. Aynı şekilde WP-Admin ve WP-Content alanlarının indekslenmemesi sitenizi güvenliği için oldukça önemli.

WP-Admin, Giriş ve Kayıt sayfaları WordPress tarafından “Noindex” etiketine sahip olduğu için aslında Robots.txt dosyasında bulunmasa da olur. Fakat özellikle kullandığınız eklentilerin (Wp-content/plugins) indekslenmesini engellemek, belirli bir eklentide bulunan bir açık sayesinde sitenize sızmaya çalışan kişilerin tarama çalışmalarını da boşa çıkaracaktır.

Aşağıda örnek bir Robots.txt dosyası bulunuyor.

* işareti bütün arama motoru botlarını kapsayan kuralları kastetmektedir. Eğer sadece Google veya Bing ile ilgili kurallar koymak isterseniz “User-Agent” kısmına Googlebot veya Bingbot yazabilirsiniz.

 

Eskiden Robots.txt dosyasına indexlenmesini istemediğimiz sayfaları, kategorileri, ve etiketleri de ekliyorduk. Fakat Google bir süre önce yayınladığı bir bilgide; bu sayfaları Robots.txt ile kısıtlamak yerine Noindex vb. etiketlerin kullanılmasını önermeye başladı. Yoast SEO veya All in One SEO Pack gibi WordPress için SEO eklentilerini kullanıyorsanız eklenti ayarlarından noindex seçeneğini kolayca seçebilirsiniz.

WordPress ile ilgili daha fazla rehber için WordPress sayfamızı ziyaret edebilirsiniz.

Bunları da beğenebilirsin

Cevap bırakın

E-posta hesabınız yayımlanmayacak.

Kullanıcı deneyimini geliştirmek için sitemizde çerezler kullanılmaktadır. Sitemizi kullanarak çerez kullanımına izin vermektesiniz. Daha fazla bilgi