Tutorial Network Unreachable, robots.txt, dan Duplicate Content

Saat ini sy sedang mempelajari error apa yg saja mungkin terjadi saat proses googlebot indexing : proses bot google menjelajah setiap halaman pada blog bakawan ini. Salah satu yg pernah terjadi adalah Network unreachable. Menurut answer.py google, arti error jaringan tak tergapai bisa disebabkan Google mengalami timeout atau DNS error saat mengakses URL. Lebih lanjut, google mengira kalau server kami itu sedang down atau sibuk saat googlebot akses url halaman web tsb.

Curiga robots.txt

Menurut bacaan yg sy baca, masalah ini selalu berarti ada masalah pada routing. Mungkin saja ada gateway address tidak berada pada submet yg sama dengan alamat IP kita. jadi sy curiga kalau masalah network tak tergapai googlebot ini lebih disebabkan masalah down server di perusahaan web hosting tempat kami nyewa server.

Kecurigaan kedua bukan menjurus pd server down melainkan kekacauan yg disebabkan robots.txt. Sy takut konfigurasi robot.txt kami yg kemarin baru saja ditulis itu ternyata mengusir setiap bot baik dari mengakses homepage blog kami.

Isi robots.txt (ingat inilah namanya dan bukan robot.txt)

Sitemap: http://www.bakawan.com/log/sitemap.xml
User-agent: Googlebot
Disallow: /log/*/trackback
Disallow: /log/*/feed
Disallow: /log/*/comments
Disallow: /log/*?*
Disallow: /log/*?
Disallow: /log/search

User-agent: *
Disallow: /cgi-bin/
Disallow: /log/wp-admin/
Disallow: /log/wp-includes/
Disallow: /log/wp-content/plugins/
Disallow: /log/wp-content/themes/
Disallow: /log/trackback
Disallow: /log/comments
Disallow: /log/feed