Cara Setting Robot.txt Yang Lebih SEO Friendly

Sering sekali saya mendengar istilah dari Robot txt. Apa itu Robot txt. dan apakah yang satu ini penting untuk kita setting dalam blog kita, pertanyaan itu kerap muncul dibenak saya, soalnya saya awam dan terus mempelajari apa itu Robot txt. lambat laun saya memahami dan ternyata Robot txt ini sangat penting bagi penelurusan mesin pencari. Apakah anda sudah menggunkannya ?

Mungkin anda terbiasa menggunakan Robot txt bawaan dari blogger, tapi untuk menjadi yang terbaik anda perlu memberikan sentuhan SEO pada Robot txt, dengan menggunakan Robot txt anda dengan kata lain menyuruh google untuk menelurusi dan memberi perintah mana yang boleh dan tidak boeh ditelurusi oleh mesin pencari.

Didalam blogger terdapat custom robot txt, dalam artikel ini saya akan memperkenalkan sedikit apa itu robot txt, perlu diketahui saya memang bukan ahlinya dalam hal ini tetapi saya belajar dan terus belajar hingga bisa mengerti apa itu robo txt, jika anda ingin lebih memahami apa itu robot txt dan kegunaannya alangkah baiknya anda membuka moz.com

Gunakan dengan hati-hati fitur yang satu ini, jika anda salah membuat settingan pada fitur yang satu ini anda akan kehilangan perayap dari goole dalam artian mesin pencari akan mengabaikan situs atau blog anda

Apa Itu Robot.txt?
Robot txt adalah sebuah privasi bagi blogger, dimana settingan pada robot txt ini adalah izin atau tidak di izinkannya halaman anda di index oleh google, dalam hal ini dan sekali lagi anda harus hati-hati menerapkan settingan pada robot txt ini, karena berakibat fatal jika anda salah menerapkannya

Cara Setting Robot.txt di Blogger
Semua plaform Blogger sudah memiliki robot.txt didalamnya. Secara default robot.txt di blogspot seperti dibawah ini:
User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /
Sitemap: http://imammunandar.com/feeds/posts/default?orderby=UPDATED
Mari kita bahas satu persatu dari kode di atas :
  • User-agent: Mediapartners-Google: User agent milik google menandakan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog Anda sesuai niche blog Anda.
  • Disallow: Yang tidak di perbolehkan tidak ada.
  • User-agent: Semua robot search engine/mesin pencari.
  • Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, seperti search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. seperti yang saya katakan search/label/seo tidak akan di index.
  • Allow: /: Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita.
  • Sitemap: http://hibahgoogle.blogspot.com/feeds/posts/default?orderby=UPDATED: Sitemap atau alamat feeds blog. Kode ini mengacu pada setimap blog, yang akan mempermudah robot untuk merayapi dan mengindex setiap artikel di terbitkan.
Catatan: Sitemap di atas hanya dapat memberi tahu web crawler sekitar 25 artikel yang baru di terbitkan dan jika Anda ingin mengoptimalkan agar lebih dari itu, Anda bisa merubahnya.

Nah di atas adalah penjelasan tentang kode robot.txt. Jika Anda ingin memodifikasi robot txt, saya tekankan untuk hati hati. Pada saat ini sitemap yang saya gunakan di situs ini adalah sebagai berikut: Jika Anda ingin mencoba seperti yag saya gunakan silahkan gunakan kode ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://imammunandar.com/feeds/posts/default?orderby=updated
Saya menggunakan kode diatas karena artikel saya belum mencapai 500.

Dan untuk mencegah duplicat content kita perlu menerapkan kode dibawah ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://imammunandar.com/feeds/posts/default?orderby=UPDATED
Menambahkan Custom Robot.txt di Blogspot/Blogger Anda
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan custom robot.txt di blogger. Berikut adalah langkah-langkah untuk melakukan setting robot.txt di blogspot Anda.
  • Masuk ke blog blogger Anda.
  • Arahkan ke Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom robots.txt >> Edit >> Yes
  • Sekarang pastekan kode file robots.txt Anda dalam kotak. Anda bisa mengambil salah satu contoh robot.txt di atas.
  • Klik tombol Save Changes.
  • Dan selesai!
Anda bisa cek setingan robot,txt Anda dengan cara masuk di google webmasters tool lalu klik Crawl >> Robot.txt Tester.
Tags :

Related : Cara Setting Robot.txt Yang Lebih SEO Friendly

6 Responses to "Cara Setting Robot.txt Yang Lebih SEO Friendly"

  1. Tak faham..boleh terangkan lebih lanjut...sitemap boleh ambil di mana???

    ReplyDelete
    Replies
    1. sitemap bisa anda ambil dengan cara, tulis di browser anda sendiri namabloganda.com/sitemap.xml

      Delete
  2. Trmksh gan atas ilmu nya..smoga bermanfaat dan berguna untuk orang yang baru di dunia bloger (seperti saya)

    ReplyDelete
  3. wah baru tahu aku mas ... trus kalo buat ngeblok robot visitor jigling gimana mas.. soalnya blog ku www.mediatulis.com kena jigling nih

    di tunggu kabarnya

    ReplyDelete

PERHATIAN !!!

Terima Kasih Telah Berkunjung.
Saya sangat senang dengan pengunjung saya yang memberikan komentar setiap kali selesai membaca artikel saya, itu adalah cara untuk memberitahu saya bahwa dia telah membaca artikel saya, dan membuat saya dengan senang hati akan mengunjungi blog pengunjung tersebut (jika pengunjung mempunyai blog)

- Berkomentar Dengan Baik Dan Sopan
- No Link Aktif
- Boleh Rekomendasi
- Suka ? Bagikan !