04-03-2017 04:02 info@semrehberi.com
Takip Edin:
Robots txt Nedir ve Nasıl Olmalıdır

Robots txt Nedir ve Nasıl Olmalıdır

Sponsor Bağlantı
468 Banner

 

Tüm büyük arama motorları robots.txt dosyasını desteklemektedir ve bir örümcek bir siteyi ziyaret ederken isteyecekleri ilk dosyadır. Bu nedenle, bir robots.txt dosyası her web sitesinde mutlaka olması gerekir.

Robots.txt ile robotları, şifre korumalı olmayan, herhangi bir yapım aşamasındaki sayfalar, test bölümleri, js dosyaları, stil sayfaları ve CGI-BIN olmak üzere hassas materyalden çıkarmak için kullanılmalıdır.

Çok büyük bir siteniz varsa, arama motorları botları görüntü (images) dizininizin, test dizininizin veya diğer önemli olmayan parçaların spidering’lerini çok fazla zaman harcayarak zamanlarının tükenip başka bir siteye gitmesini sağlayabilir.

Robots.txt dosyaları, arama motorlarını hassas sayfalardan engellemek için için değil, arama botlarına nereye veya hangi sayfalara gideceklerini söylemelerine de yardımcı olmak için kullanılması gerekir.

Arama motoru Robotlarının sitenizdeki önemli, anahtar kelime zengin sayfalara gitmesini istiyorsanız ve arama motoru sıralamaları için yararlı olmayacak herhangi bir şeyden uzak tutmak için bir robots.txt kullanın.

Çok nadir bir olay olacağı için öncelikle, dizine eklenmesini istemediğiniz şeyleri öncelikle bu dosyada belirtilmesi önerilir. örneğin: “Disallow: /css” burda css dosyalarının olduğu klasörü engellemiş olursunuz. Bunun benzeri java dosyalarının olduğu klasörler, imaj dosyalarınızın olduğu klasörler, test için kullandığınız klasörler, sitenizin admin panel klasörü, daha doğrusu web sitenizin sistem dosyalarının olduğu klasörleri engellemeniz faydalı olacaktır.

Dosyanıza mutlaka site haritanızın olduğunu belirtin, bu harita sayesinde arama motoru robotlarının web sitenizin hangi sayfalarını ziyaret etmesi gerektiğini belirtmiş olursunuz. Aşağıda örnekte yazıldığı gibi site haritanızın olduğu linki mutlaka yazmalısınız.

Doğru yazıldığından emin olmak için robots.txt dosyasını bir doğrulayıcı aracılığıyla çalıştırın ve hatalarınızı kontrol, hatalı bir durum sitenize iyileştirme yapmanız yerine zarar vermenize neden olabilir.

Bir WordPress web sitesi için uygun olan robots.txt dosyası şöyle olmalıdır;


User-agent: *

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/upgrade
Disallow: /wp-content/languages
Disallow: /wp-content/themes

# Google Image
User-agent: Googlebot-Image
Disallow:/wp-includes/
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

#ia archiver
User-agent: ia_archiver
Disallow: /

Sitemap: http://www.semrehberi.com/sitemap.xml

 

Benzer Yazılar

  • Sahte İnternet Siteleri
  • Hit arttırma
  • Google Reklam ve AdWords Reklamları
Serkan OKTAY Hakkında
Serkan OKTAY 2005 yılı itibariyle web tasarım ve programlama konularını meslek edinerek 2009 yılından itibaren deneyimlerine Google arama motoru optimizasyonu (SEO) ve AdWords, Sosyal medya ve reklam danışmanlığı konularını katarak, bu konularda sertifika ve deneyim sahibi olmuştur. Günümüzde Sertifikalı interaktif reklam danışmanı olarak çalışmalarına devam etmektedir.

“Robots txt Nedir ve Nasıl Olmalıdır” için 1 Yorum

  • Halil Yıldırım dedi ki:

    Sayın Semrehberi yetkilisi gerçekten güzel bir paylaşım olmuş, robotlar hakkında bilmediğim çok şeyi öğrenmiş oldum teşekkürler

Yorum Yaz

*

oogle+'da Takip Edin
 
acebook Sayfamız
En Popüler Konular
Son Tweet’ler