Cara Mengatur Fitur Robots txt khusus

Fitur robots.txt | Cara Mengatur Fitur Robots txt khusus

Menurut opini yang saya ketahui yang dimaksud Robots.txt adalah sebuah file text (.txt) di dalam sebuah halaman web yang berisi perintah-perintah halaman mana yang boleh di index dan mana yang tidak boleh diindex oleh spider mesin pencari. 

Namun kalo mau lebih jelas pengertian dari dan cara mengatur Robots.txt  KLIK DI SINI.

Di blogger file robots.txt ini sudah otomatis ada dan bisa sobat lihat melalui URL ini:

Ya misal blog ini  terdeteksi  " http://dangstars.blogspot.com/robots.txt "

Penampakan file robots.txt tersebut kurang lebih seperti ini:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://dangstars.blogspot.com/feeds/posts/default?orderby=UPDATED

Seperti yang sudah kita ketahui, robots.txt ini bisa kita optimalkan lebih bagus lagi untuk mencegah terjadinya duplikat konten.

Cara Fitur robots.txt | Cara Mengatur Fitur Robots.txt khusus
>Masuk ke Dashboard
 >  Klik Setelan 
> Preferensi penelusuran 
> Klik "Edit" pada bagian "robots.txt khusus"
setelah itu akan muncul pertanyaan "Aktifkan robots.txt khusus" pilih Ya.

Selanjutnya tinggal sobat masukan kode robots.txt berikut ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://www.dangstars.blogspot.com/feeds/posts/default?orderby=UPDATED


Ganti .

dangstars dengan URL blog sobat.

Jangan Lupa Klik Simpan Perubahan

Seperti pada gambar hasilnya :

Kode robots.txt di atas bersisi perintah agar spider mesin pencari tidak mengindex halaman versi seluler yang dalam keadaan default halaman versi seluler sering ikut terindex mesin pencari dan menyebabkan duplikat konten.

Ok Semoga berhasil