Apa Itu URL dibatasi oleh robots.txt?

Ketika Rinjani Lovers Membuka Google Webmaster Tools, Di bagian Diagnostik ( Galat Perayapan ) di temukan sebuah peringatan " Dibatasi oleh robots.txt ". Di situ terdapat tiga Halaman URL yang  Dibatasi oleh robots.txt.

Apakah yang di maksud dengan galat URL dibatasi oleh robots.txt itu?
Artinya Google tidak bisa melakukan perayapan URL Blog karena adanya pembatasan robots.txt.

Apa yang menyebabkan URL dibatasi oleh robots.txt?
Yang menyebabkan hal ini terjadi adalah :

1. Robot.text kita melakukan pembatasan Googlebot sepenuhnya
2. Robot.text kita melakukan pembatasan akses ke direktori letak URL tersebut
3. Robot.text kita melakukan pembatasan akses ke URL tertentu

Jadi intinya, robot.txt kta secara khusus telah mencegah Google untuk merayapi URL tersebut.

Apakah kasus yang seperti ini termasuk Galat? Tidak. URL dibatasi oleh robots.txt bukan termasuk dalam kategori Galat

Bagaimana Cara mengatasi URL dibatasi oleh robots.txt?
Sesuai dengan keterangan Google Webmaster Tools, kita tidak perlu memperbaiki hal tersebut. Kalau sobat blogger kurang yakin klik disini untuk membaca langsung keterangan dari Google.

Semoga Informasi yang singkat ini mengurangi kekhawatiran sobat blogger. Jangan lupa tinggalkan pesan atau komentar pada kolom yang tersedia.

Semoga artikel Apa Itu URL dibatasi oleh robots.txt? bermanfaat bagi Anda.