Setting Robot.txt dan Custom Robots Header Tags Blogger

Tujuan dari setting atau mengatur robot.txt dan custom robots header tags yakni untuk membantu perayapan dan pengindeksan blog di search engine. Selain itu, pengaturan robot.txt dan custom robots header tags juga merupakan suatu optimasi search engine (SEO) halaman blogger yang termasuk di dalamnya postingan, arcives dan homepage sehingga postingan bisa terindeks lebih akurat di search engine. Nah, untuk penerapannya ke dalam blog, berikut penjelasan singkatnya :

1. Pengaturan Tag Header Robot Khusus(Custom Robots Header Tags)

  • Login ke Blogger
  • Pada Dashboard, pilih Setelan » Preferensi Penelusuran » Tag Header Robot Khusus » Edit
 pengaturan robot.txt dan custom robots header tags
  • Nah pengaturan seperti di atas adalah pengaturan yang direkomendasikan, hal ini bertujuan untuk memberitahu mesin pencari (search engine) untuk mengindex seluruh isinya tetapi tidak mengizinkan User-agent Open Directory Project untuk mengcrawl seluruh isi blog serta tidak mengizinkan untuk mengindex arsip blog.

2. Pengaturan Robot.txt

  • Masih di Setelan » Preferensi Penelusuran, tepatnya di bagian atas Tag Header Robot Khusus, pilih Edit untuk mengedit Robots.txt dan jangan lupa pilih yes untuk melanjutkan pengaturannya.
 pengaturan robot.txt dan custom robots header tags
  •  Copy paste kode di bawah ini dan masukkan ke dalam form robot.txt

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=0
Disallow: /view/*

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated&max-results=999
  • Selain kode di atas, ada juga yang menggunakan kode seperti di bawah ini : 
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://url-blog-anda.blogspot.com/feeds/posts/default?orderby=updated
  • Klik simpan.
Demikian tutorial Pengaturan Robot.txt dan Costum Robots Header Tags ini. Terima kasih.

Lost Sector
Lost Sector

53 comments:
Write comment
  1. This comment has been removed by the author.

    ReplyDelete
  2. bagus ,saya hampir satu jam di sini kunjungan nya di tunggu..

    ReplyDelete
  3. sangat bermamfaat ...mkasi infonya
    http://alfijadul.blogspot.com

    ReplyDelete
  4. makasih om, nitip lapak
    http://mix-cakes.zz.mu/

    ReplyDelete
  5. This comment has been removed by the author.

    ReplyDelete
  6. Makasih banyak.... makasih buat semuanya

    ReplyDelete
  7. Pada ''robots.txt khusus'' lebih mantap yang mana gan, yang atas atau bawah. mohon pencerahannya kembali. Terimaksih

    ReplyDelete
  8. Bagus gan, artikelnya sudah saya terapkan di blog saya.. :)
    Terima kasih banyak ya triknya..

    gan aku mau tanya.
    apakah SEO friendly blog saya kalau saya pakai robot.txt dan tag robot.txt disertai dengan meta tag?

    Tolong gan, segera dijawab..

    Kunjungi balik ya di R-Oren Blog ..

    ReplyDelete
    Replies
    1. Saya rasa akan lebih bagus kalo dikombinasikan diantara ketiganya!

      Delete
  9. nice post gan, jgn lupa kunjungan balik http://firman14sevenfold.blogspot.com

    ReplyDelete
  10. bang, kalo ane aga bingung sama kode yang kedua. soalnya di beberapa blog lain ada yang pake "/search", ada yang di hapus "/search"-nya. jadi yang lebih disarankan yang mana ya?

    ReplyDelete
    Replies
    1. Sebenarnya, blog yang memasukkan /search kedalam robots.txt tujuannya adalah untuk mencegah terjadinya duplikasi meta tag yang disebabkan oleh robot crawler.

      misalnya untuk mencegah robot crawler mengindeks semua url seperti /search yang terdapat di belakang nama domain diikuti oleh keywordnya. Contohnya seperti ini : lost-sector.net/search?q=keyword

      Delete
  11. thanks infonya dan sudah saya terapkan pada blog saya.
    Tapi ngomong2 banyak yang share artikel ini dan smuanya hampir sama.ga tau mana yang copy pasti atau yang tidak.

    ReplyDelete
  12. sip kang infinya,,
    langsung praktek ..

    ReplyDelete
  13. Terimakasih, atas artikel nya. sangat membantu. jangan lupa main di blog saya yaa :)

    ReplyDelete
  14. mantaf juragan,, mampir ya gan...
    http://sk-onehot.blogspot.com

    ReplyDelete
  15. Makasih infonya, artikel2nya bagus banget. jangan lupa buat rekan2 mampir ya..
    http://produkpembersihdaki.blogspot.com

    ReplyDelete
  16. mantap, terimakasih gan infonya, salam sukses FOTO PALEMBANG

    ReplyDelete
  17. Thanks ya brooo...
    Mantap

    Baca: berita ya di http://sarang303news.blogspot.com/

    ReplyDelete
  18. mantap bro.. tutornya mudah di cerna
    thx yoo.. http://jurnalibas.blogspot.com/

    ReplyDelete
  19. bingung juga nich kl blog kita gak cepet terindex mbah google, trim infonya..

    ReplyDelete
  20. makasih sob sangat membantu sekati

    ReplyDelete
  21. This comment has been removed by the author.

    ReplyDelete
  22. terima kasih gan infonya semoga bermanfaat
    http://goo.gl/FpAvHO

    amin

    ReplyDelete
  23. Thanks gan sungguh bermanfaat

    ReplyDelete
  24. waah bermanfaat gan :D
    ditunggu kunjungan baliknya yaa :)

    http://1001android.blogspot.com/

    ReplyDelete
  25. Sip, berguna buat saya :D
    Mampir ke tempat site ane juga ya : cewekhotasia.blogspot.com

    ReplyDelete
  26. This comment has been removed by the author.

    ReplyDelete
  27. terimakasih gan, sangat bermanfaat

    ReplyDelete
  28. visit balik gan,salam persaudaraan
    >> newmodelstyle.blogspot.com

    ReplyDelete
  29. Thanks gan infonya,
    saya newbie lagi belajar bikin blog gan
    visit balik gan http://attarbiyaharjasari.blogspot.com

    ReplyDelete
  30. Saya masih new bie nih dalam urusan membuat sitemap an, tapi tips agan sangat membantu dan memberikan pencerahan bagi saya, thanks

    ReplyDelete
  31. apa dengan gonta ganti robots.tt berpengaruh besar dengan menurunya jumlah visitor ?
    apa tidak masalah jika saya menonaktifkan robots.txt ?

    ReplyDelete
  32. Nice Share mas

    http://pra-software.blogspot.com/

    ReplyDelete
  33. Thx gan...
    kunjung balik ke sini gan
    => http://suckshare.blogspot.com/

    ReplyDelete
  34. Informasi bagus dan bermanfaat.
    thanks

    ReplyDelete
  35. mantap mas, tak coba
    http://ontvspot.blogspot.com

    ReplyDelete
  36. This comment has been removed by the author.

    ReplyDelete
  37. keren banget. langsung praktek bang.. mantap.!!!

    baru buat blog bang.. komentar nya

    http://simarmutjantan.blogspot.co.id/

    ReplyDelete
  38. terima kasih Gan...sudah saya terapkan tipsnya di www.rumahdaerahbandung.com

    ReplyDelete
  39. terima kasih atas artikelnya, salam kenal
    http://blogvideos7.blogspot.co.id/
    giribig.com
    idcheat.com

    ReplyDelete
  40. Mantab Gan. makasih ilmunya ya.

    Kunjungi website saya di

    http://www.spesialispagarbesitempa.com

    ReplyDelete