Cara membuat atau setting robot.txt pada blog

 

Selamat siang sobat-sobatku. Pada hari ini penulis akan membagi tutorial blogging seputar robot.txt. Bagi para blogger khususnya pemula mungkin robot.txt termasuk hal asing yang ramai dibicarakan. Maka dari itu pembahasan disini yaitu cara membuat atau setting robot.txt pada blog. Tentunya tak salah bila kita membahas dahulu pengertian robot.txt.

 

Pada penjelesanaya singkat robot.txt merupakan alat untuk memberitahukan mesin pencari/crawler apa yang boleh dan apa yang tidak boleh terindeks olehnya. Sehingga selain ke index oleh mesin pencari seperti google, robot.txt salah satu gunanya yaitu mencegah duplikasi content yang seperti mengarah pada label atau hanya archive dimana seharusnya langsung mengarah pada isi content blog tersebut.Tapi pada fitur ini kita juga dapat membuat site map google dengan costum robot.txt sehingga blog kita tak perlu lagi untuk dilakukan ping secara berkala (jika belum mengerti tentang ping anda bisa membaca artikel mengenai apa pengertian ping dan cara ping dengan benar) karena secara otomatis saat google mengcrawl/mencari blog kita postingan barupun akan segera ke indeks dengan sendirinya.

 

Selanjutnya menuju ke cara membuat/setting txt pada blog yaitu

1. Silahkan login dahulu ke blogger.com

2. kemudian menuju halaman tata letak- tepat dibawahnya ada gambar obeng (menu Setelan), silahkan menuju menu setelan

3. Sobat akan menemukan sub-sub menu disana, dan pilih Prefensi penelusuran

4. Pada Robot.txt silahkan aktifkan dengan memilih ya, dan copy paste script ini

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://biscer.blogspot.com/feeds/posts/default?orderby=UPDATED

• Berikut uraianya: pada baris pertama merupakan informasi user agen milik google tanda blog adalah partner google, kemudian baris kedua merupakan informasi untuk semua mesin pencari/crawler disallow menandakan mesin pencari dilarang mngindex page label atau archive yang sebaiknya tidak terindeks agar mencegah duplikasi content dan baris terakhir berisi sitemap blog agar mesin crawler lebih mudah mengindeks blog/website anda
• Jangan lupa edit warna merah dengan URL blog/website anda

Berikut ada gambar seperti ini.

 

5. Pada Tajuk robot khusus juga diaktifkan dan centang sesuai keinginan anda,mana yang perlu diindeks mana yang tidak. jika seperti penulis maka sperti gambar dibawah ini.

• beranda: all--noodp
• laman arsip dan penelusuran: no index--noodp
• default untuk pos dan laman: all--nodp
• dan simpan perubahan

6. Dan pada akhir settingan, klik simpan.

Selesai sudah cara membuat atau setting robot.txt pada blog, yang nantinya di entri baru akan muncul Tag robot khusus menjadi default. artinya cara settingnya berhasil sob. 

 

Pada intinya anda juga harus berhati-hati dalam memasukkan script-script diatas agar tidak terjadi kesalahan. Memang mesin pencari seperti google tidak mempermasalahkanya. Jika anda membatasi untuk konten tertentu pada blog/website, maka google masih menghormatinya jadi mereka tidak akan memaksa masuk atau menganggapaya sebagai pelanggaran. Segitu saja tutorial blogging hari ini, semoga bermanfaat dan sukses selalu sob.