Cara Mengatasi URL Yang Dicekal Oleh Robot.txt Blogger

Cara Mengatasi URL Yang Dicekal Oleh Robot.txt Blogger - Robot.txt adalah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine. Terkadang Google tidak bisa merayapi seluruh artikel yang telah kita buat. Sobat bisa mengetahui URL yang dicekal melalui Webmaster tools.


1. Login ke Blogger.
2. Selanjutnya menuju Setelan → Preferensi dan penelusuran.
3. Klik Edit di bagian kanan robots.txt khusus.



4. Masukan kode dibawah ini kedalam kolom kosong tersebut.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://kompormeledak.blogspot.com/feeds/posts/default?orderby=updated

Note : ganti tulisan yang berwarna biru dengan URL blog sobat.

5. Centang ' Ya ' untuk mengaktifkan, setelah itu Simpan perubahan.



Tunggu kurang lebih 2 sampai 3 hari untuk memulihkan situs sobat. Disarankan 1 minggu sekali sobat memeriksa kesehatan situs sobat di Webmaster tools untuk mengetahui ada tidak nya kerusakan di blog sobat.