Cart

Kursus Web & SEO

Baca Juga

Belajar SEO Hack Dari Sean Si Tentang Pentingnya Penggunaan Robot TXT di Dalam SEO

Belajar SEO Hack Dari  Sean Si Bagaimana Membatasi Crawl Untuk Memastikan Hanya Halaman Berkualitas Saja Yang Masuk Ke Dalam Indexing Mesin Pencari

Sean Si - CEO and Founder of SEO Hacker and Qeryz

Adalah Sean Si yang merupakan CEO and Founder of SEO Hacker and Qeryz menjelaskan tentang SEO Hack. Dimana bagi Sean Si ada satu teknik SEO hack yang sering diabaikan oleh praktisi SEO yaitu penggunaan robot txt untuk membatasi aktifitas Crawl dari mesin pencari.

Menurut Sean Si pembatasan crawl dari mesin pencari ini sangat penting, dimana hanya halaman-halaman yang sudah teroptimalisasi saja yang bisa di crawl oleh robot mesin pencari untuk dimasukan ke dalam index database dan dikeluarkan di dalam hasil pencarian.

Untuk melakukan hal tersebut tidaklah sulit, cukup melakukan hack SEO pada file robot txt dengan memberikan perintah nofollow atau noindex.

Apa Itu Robot Txt ?

Jika kita merunut pada penjelasan yang ada di website wikipedia, maka kita akan mendapatkan penjelasan tentang apa itu robot txt sebagai berikut:

Standar pengecualian robot , juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.

Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.

Sumber: https://id.wikipedia.org/wiki/Robots.txt

File robot.txt bisa Anda temukan pada root hosting, Anda bisa membuatnya dengan menggunakan notepad dari komputer dan menyimpannya dengan nama robot.txt yang kemudian diupload ke dalam root hosting Anda dengan sebelumnya mengisikan perintah-perintah tertentu di dalam file robot txt tersebut.

Contoh Penulisan Perintah Pada Robot Txt

User-agent: Google

User-agent: *

disallow: /search

allow: /

“User-agent: Googlebot” : itu berarti bahwa kode yang ditempatkan di bawahnya hanya berlaku untuk Bot Crawler/robot perayap dari google saja

“User-agent: *”: ini berarti bahwa kode/perintah yang ditempatkan di bawahnya berlaku pada semua robot crawler (diwakili dengan kode ‘*’).

 “disallow: /search” : melarang crawler untuk menjelajah url yang memiliki awalan urlbloganda.com/search.

“allow: /”: Membiarkan crawler merayapi semua halaman kecuali yang dicantumkan pada perintah disallow.

Contoh Memblokir Folder Pada Website WordPress Dengan Robot Text

Bagi pengguna WordPress, berikut ini adalah contoh dari pembuatan robot txt untuk memblokir robot mesin pencari agar mengindex halaman yang tidak penting dari website WordPress.

user-agent: *

disallow: /cgi-bin/

disallow: /wp-admin/

disallow: /wp-includes/

disallow: /wp-content/plugins/

disallow: /wp-content/cache/

disallow: /wp-content/themes/

Membuat Robot Txt Dengan Generator Online

Anda bisa membuat robot txt sendiri secara online dengan menggunakan tool generator, silahkan kunjungi website Robot Text Generator.

User Agent Robot

Di dlaam robot txt tersebut Anda bisa mengatur atau memberikan perintah pada robot milik siapa yang boleh dan yang tidak boleh merayapi halaman website Anda. Berikut ini adalah user agent yang umum:

  • Google Adsense : Mediapartners-google
  • Google Search Engine : Googlebot
  • Altavista : Scooter
  • Lycos : Lycos_Spider_ (T-Rex)
  • Alltheweb : FAST-WebCrawler /
  • Inktomi : Slurp
  • Yahoo : Yahoo Slurp
  • MSN : msnbot

Anda bisa melihat database robot txt yang lebih lengkap di sini, silahkan digunakan untuk kebutuhan SEO sehari-hari Anda.

Pengen Jago SEO ? Dapatkan Panduan Langkah Demi Langkah Menerapkan SEO di dalam Website  untuk kebutuhan bisnis sehari-hari. SEo adalah ilmu yang wajib dikuasai oleh mereka yang bermain di ranah maya dalam mengembangkan bisnis online.

Links