Salah Kaprah dan Salah Paham Tentang URL yang Dicekal Robot.txt

Banyak sekali orang yang salah memahami tentang URL yang dicekal robot, dan tidak sedikit pula yang berpikir bahwa url yang dicekal di webmaster tool google adalah sebuah kesalahan pada blog atau website nya, sehingga blogger yang merasa url dicekal oleh robot mencari kesana kemari url mana yang dicekal, padahal yang dicekal ini adalah bagus untuk hasil penelusuran google dengan catatan robot.txt yang ada pada blog nya belum pernah di utak atik atau dengan kata lain masih dalam keadaan default.
Terus kenapa URL saya dicekal ?jawabannya sebenarnya ada pada anda sendiri. URL yang dicekal oleh robot adalah dari perintah anda sendiri (jika keadaan setting robot.txt default) untuk mencekal atau memblokir URL yang dicekal tadi. dan kenapa dicekal ? ini juga untuk kebaikan blog anda sendiri dimata pencarian, jika tidak dicekal akan berantakan dan sangat tidak kondusif pada hasil penelusuran.

Settingan robot.txt yang diberikan google untuk blog kita adalah seperti ini :
Mari kita baca settingan diatas :
/
Garis miring diatas adalah halaman homepage blog saya www.imammunandar.com
Dan unruk settingan seperti dibawah ini berarti untuk semua URL yang ada pada blog kita, tanpa garis miring adalah membebaskan robot untuk mengcrawl seluruh url pada blog kta.
Disallow:
Allow:

Jika ada kode setelah garis miring kemudian ada url tambahan seperti ini :
Disallow: /search
Itu adalah melarang robot untuk merayapi url yang diikuti oleh search, sebagai contoh yang tidak akan dirayapi oleh kode disallow diatas adalah :
http://imammunandar.com/search/label/seo

Settingan default yang menyertakan Disallow: /search itu adalah untuk melarang robot google untuk merayapi url label dan archive, karena memang url yang menyertakan label dan diikuti dengan search ini tidak pernah atau tidak disarankan ada pada halaman pencarian google. Itu sebabnya banyak pakar seo yang melarang anda untuk mengutak-atik settingan robot.txt ini jika belum paham cara membacanya, biarkan saja dalam keadaan default.

Dan saya juga sering melihat tutorial yang menyarankan bahwa settingan robot.txt harus diganti agar url yang dicekal berkurang, dan jika anda menuruti mereka dan menghapus Disallow: /search ini maka anda telah melakukan hal yang sangat fatal, kalau anda tidak yakin dengan apa yang telah saya katakan, tunggu saja dua atau tiga bulan lagi dan cek kembali di webmaster tools, pasti banyak duplikat konten anda pada halaman penyempurnaan HTML.

Intinya URL yang dicekal adalah url label bukan url potingan atau konten anda, jadi jangan pernah takut, semakin banyak url yang dicekal ini malah semakin bagus.

Dan jangan salah kaprah lagi tentang URL yang dicekal.
Tags :

Related : Salah Kaprah dan Salah Paham Tentang URL yang Dicekal Robot.txt

7 Responses to "Salah Kaprah dan Salah Paham Tentang URL yang Dicekal Robot.txt"

  1. jadi robot text kaya gini gi mna gan, bagus gk buat blog

    User-agent: Mediapartners-Google
    Disallow:
    User-agent: *
    Disallow:
    Allow: /
    Sitemap: http://namablog.com/feeds/posts/default?orderby=updated

    ReplyDelete
    Replies
    1. itu juga masih dasar gan, bawaan dari google. saran saya mah pake yang bawaan google asli. bawaan google udah mantap gan, dari google untuk google hehe

      Delete
  2. Swip, bener artikel anda mas Imam. Sesuaikan sama default blogger aja. ngehapus /search malah bikin ilang blog di search engine. Banyak tutor salah diluar sana.

    ReplyDelete
    Replies
    1. Artikel d luar sana udah benar, cuma beda cara pandang, yg real dr google pasti lebih baik

      Delete
  3. jujur gan , saya masih belum paham betul dg setting robot.txt setelah melihat ada url yg di cekal saya merasa khawatir gan , apalagi yg di cekal banyak

    ReplyDelete
  4. mas di blog saya yg dicekal oleh robot terus bertambah tadinya hanya 2 sekarang di cekal oleh robot ada 6 kira2 itu gimana ya mas, mohon pencerahan nya. mksh

    ReplyDelete

PERHATIAN !!!

Terima Kasih Telah Berkunjung.
Saya sangat senang dengan pengunjung saya yang memberikan komentar setiap kali selesai membaca artikel saya, itu adalah cara untuk memberitahu saya bahwa dia telah membaca artikel saya, dan membuat saya dengan senang hati akan mengunjungi blog pengunjung tersebut (jika pengunjung mempunyai blog)

- Berkomentar Dengan Baik Dan Sopan
- No Link Aktif
- Boleh Rekomendasi
- Suka ? Bagikan !