Setting Robot.txt dan Custom Robots Header Tags Blogger

Tujuan dari setting atau mengatur robot.txt dan custom robots header tags yakni untuk membantu perayapan dan pengindeksan blog di search engine. Selain itu, pengaturan robot.txt dan custom robots header tags juga merupakan suatu optimasi search engine (SEO) halaman blogger yang termasuk di dalamnya postingan, arcives dan homepage sehingga postingan bisa terindeks lebih akurat di search engine. Nah, untuk penerapannya ke dalam blog, berikut penjelasan singkatnya :

1. Pengaturan Tag Header Robot Khusus(Custom Robots Header Tags)

  • Login ke Blogger
  • Pada Dashboard, pilih Setelan » Preferensi Penelusuran » Tag Header Robot Khusus » Edit
 pengaturan robot.txt dan custom robots header tags
  • Nah pengaturan seperti di atas adalah pengaturan yang direkomendasikan, hal ini bertujuan untuk memberitahu mesin pencari (search engine) untuk mengindex seluruh isinya tetapi tidak mengizinkan User-agent Open Directory Project untuk mengcrawl seluruh isi blog serta tidak mengizinkan untuk mengindex arsip blog.

2. Pengaturan Robot.txt

  • Masih di Setelan » Preferensi Penelusuran, tepatnya di bagian atas Tag Header Robot Khusus, pilih Edit untuk mengedit Robots.txt dan jangan lupa pilih yes untuk melanjutkan pengaturannya.
 pengaturan robot.txt dan custom robots header tags
  •  Copy paste kode di bawah ini dan masukkan ke dalam form robot.txt

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated&max-results=999
  • Selain kode di atas, ada juga yang menggunakan kode seperti di bawah ini : 
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated
  • Klik simpan.
Demikian tutorial Pengaturan Robot.txt dan Costum Robots Header Tags ini. Terima kasih.

Unknown
Unknown

51 comments:
Write comment
  1. This comment has been removed by the author.

    ReplyDelete
  2. mantap arikelnya

    ReplyDelete
  3. bagus ,saya hampir satu jam di sini kunjungan nya di tunggu..

    ReplyDelete
  4. sangat bermamfaat ...mkasi infonya
    http://alfijadul.blogspot.com

    ReplyDelete
  5. makasih om, nitip lapak
    http://mix-cakes.zz.mu/

    ReplyDelete
  6. This comment has been removed by the author.

    ReplyDelete
  7. AnonymousJune 06, 2013

    Makasih banyak.... makasih buat semuanya

    ReplyDelete
  8. AnonymousJune 07, 2013

    Pada ''robots.txt khusus'' lebih mantap yang mana gan, yang atas atau bawah. mohon pencerahannya kembali. Terimaksih

    ReplyDelete
  9. thanks info mas.. :D

    ReplyDelete
  10. Bagus gan, artikelnya sudah saya terapkan di blog saya.. :)
    Terima kasih banyak ya triknya..

    gan aku mau tanya.
    apakah SEO friendly blog saya kalau saya pakai robot.txt dan tag robot.txt disertai dengan meta tag?

    Tolong gan, segera dijawab..

    Kunjungi balik ya di R-Oren Blog ..

    ReplyDelete
    Replies
    1. Saya rasa akan lebih bagus kalo dikombinasikan diantara ketiganya!

      Delete
  11. nice post gan, jgn lupa kunjungan balik http://firman14sevenfold.blogspot.com

    ReplyDelete
  12. bang, kalo ane aga bingung sama kode yang kedua. soalnya di beberapa blog lain ada yang pake "/search", ada yang di hapus "/search"-nya. jadi yang lebih disarankan yang mana ya?

    ReplyDelete
    Replies
    1. Sebenarnya, blog yang memasukkan /search kedalam robots.txt tujuannya adalah untuk mencegah terjadinya duplikasi meta tag yang disebabkan oleh robot crawler.

      misalnya untuk mencegah robot crawler mengindeks semua url seperti /search yang terdapat di belakang nama domain diikuti oleh keywordnya. Contohnya seperti ini : lost-sector.net/search?q=keyword

      Delete
  13. AnonymousJuly 09, 2013

    thanks infonya dan sudah saya terapkan pada blog saya.
    Tapi ngomong2 banyak yang share artikel ini dan smuanya hampir sama.ga tau mana yang copy pasti atau yang tidak.

    ReplyDelete
  14. AnonymousJuly 09, 2013

    sip kang infinya,,
    langsung praktek ..

    ReplyDelete
  15. Terimakasih, atas artikel nya. sangat membantu. jangan lupa main di blog saya yaa :)

    ReplyDelete
  16. mantaf juragan,, mampir ya gan...
    http://sk-onehot.blogspot.com

    ReplyDelete
  17. Makasih infonya, artikel2nya bagus banget. jangan lupa buat rekan2 mampir ya..
    http://produkpembersihdaki.blogspot.com

    ReplyDelete
  18. Trims info

    ReplyDelete
  19. mantap, terimakasih gan infonya, salam sukses FOTO PALEMBANG

    ReplyDelete
  20. Thanks ya brooo...
    Mantap

    Baca: berita ya di http://sarang303news.blogspot.com/

    ReplyDelete
  21. mantap bro.. tutornya mudah di cerna
    thx yoo.. http://jurnalibas.blogspot.com/

    ReplyDelete
  22. bingung juga nich kl blog kita gak cepet terindex mbah google, trim infonya..

    ReplyDelete
  23. makasih sob sangat membantu sekati

    ReplyDelete
  24. This comment has been removed by the author.

    ReplyDelete
  25. terima kasih gan infonya semoga bermanfaat
    http://goo.gl/FpAvHO

    amin

    ReplyDelete
  26. Thanks gan sungguh bermanfaat

    ReplyDelete
  27. waah bermanfaat gan :D
    ditunggu kunjungan baliknya yaa :)

    http://1001android.blogspot.com/

    ReplyDelete
  28. Sip, berguna buat saya :D
    Mampir ke tempat site ane juga ya : cewekhotasia.blogspot.com

    ReplyDelete
  29. This comment has been removed by the author.

    ReplyDelete
  30. terimakasih gan, sangat bermanfaat

    ReplyDelete
  31. visit balik gan,salam persaudaraan
    >> newmodelstyle.blogspot.com

    ReplyDelete
  32. Thanks gan infonya,
    saya newbie lagi belajar bikin blog gan
    visit balik gan http://attarbiyaharjasari.blogspot.com

    ReplyDelete
  33. Saya masih new bie nih dalam urusan membuat sitemap an, tapi tips agan sangat membantu dan memberikan pencerahan bagi saya, thanks

    ReplyDelete
  34. apa dengan gonta ganti robots.tt berpengaruh besar dengan menurunya jumlah visitor ?
    apa tidak masalah jika saya menonaktifkan robots.txt ?

    ReplyDelete
  35. info yang bermanfaat

    ReplyDelete
  36. Nice Share mas

    http://pra-software.blogspot.com/

    ReplyDelete
  37. Thx gan...
    kunjung balik ke sini gan
    => http://suckshare.blogspot.com/

    ReplyDelete
  38. Informasi bagus dan bermanfaat.
    thanks

    ReplyDelete
  39. mantap mas, tak coba
    http://ontvspot.blogspot.com

    ReplyDelete
  40. This comment has been removed by the author.

    ReplyDelete
  41. keren banget. langsung praktek bang.. mantap.!!!

    baru buat blog bang.. komentar nya

    http://simarmutjantan.blogspot.co.id/

    ReplyDelete
  42. Mantab Gan. makasih ilmunya ya.

    Kunjungi website saya di

    http://www.spesialispagarbesitempa.com

    ReplyDelete