Setting Robot.txt dan Custom Robots Header Tags Blogger

Tujuan dari setting atau mengatur robot.txt dan custom robots header tags yakni untuk membantu perayapan dan pengindeksan blog di search engine. Selain itu, pengaturan robot.txt dan custom robots header tags juga merupakan suatu optimasi search engine (SEO) halaman blogger yang termasuk di dalamnya postingan, arcives dan homepage sehingga postingan bisa terindeks lebih akurat di search engine. Nah, untuk penerapannya ke dalam blog, berikut penjelasan singkatnya :

1. Pengaturan Tag Header Robot Khusus(Custom Robots Header Tags)

• Login ke Blogger
• Pada Dashboard, pilih Setelan » Preferensi Penelusuran » Tag Header Robot Khusus » Edit

 

• Nah pengaturan seperti di atas adalah pengaturan yang direkomendasikan, hal ini bertujuan untuk memberitahu mesin pencari (search engine) untuk mengindex seluruh isinya tetapi tidak mengizinkan User-agent Open Directory Project untuk mengcrawl seluruh isi blog serta tidak mengizinkan untuk mengindex arsip blog.

2. Pengaturan Robot.txt

• Masih di Setelan » Preferensi Penelusuran, tepatnya di bagian atas Tag Header Robot Khusus, pilih Edit untuk mengedit Robots.txt dan jangan lupa pilih yes untuk melanjutkan pengaturannya.

 

•  Copy paste kode di bawah ini dan masukkan ke dalam form robot.txt

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated&max-results=999

• Selain kode di atas, ada juga yang menggunakan kode seperti di bawah ini : 

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated

• Klik simpan.

Demikian tutorial Pengaturan Robot.txt dan Costum Robots Header Tags ini. Terima kasih.