2010年08月09日

Googleウェブマスターツール サイトマップのエラー

先月、キーワードサイトビルダーにGoogleサイトマップを自動作成する機能を追加しようと思いキーワードサイトビルダー(楽天版)のCGIソフトを修正してみた。
Googleのクローラは、ほぼ毎日サイトマップにアクセスしてくれインデックス数も増えてきている。
「何だか効果がありそう」と思っていたら、サイトマップのステイタスのところに「×」マーク。
サイトマップのエラーが表示されるようになってしまった。

相手がGoogleウェブマスターツールなので、
CGIソフトが悪いのか?
作成したサイトマップが悪いのか?
全くわからなかった。
CGIソフトや自動作成しているサイトマップを疑ったが、サイトマップは正しく作成されていると思う。

Googleのヘルプフォーラムに同じ症状の質問(サイトマップのエラーがどうしても消えません)があり、これを参考に対策を行ってみた。


■原因
Googlebot がサイトマップにアクセスしようとする際、アクセスし切れていない場合があるそうです。
サイトマップに10,000個のURLを書き込んだのが原因か?

■対策
ウェブマスターツールからクロール速度の設定をする。
クロール速度を少し高めにすると Googlebot がサーバーにアクセスする速度が速くなり、より多くの URL をクロールできるそうです。
クロール速度の設定を以下のように変更したらエラー表示は消えた。
リクエスト/秒 0.003件 → 0.010件
秒/リクエスト 333.333秒 → 100.000秒

最大50,000個のURLがサイトマップで送信可能なのだが、CGIソフトのサーバーへの負担やGooglebotのクロール速度などを考慮すると10,000個のURLをサイトマップで送信し暫く様子を見ようと思う。

うまく行きそうなら、キーワードサイトビルダーにサイトマップの自動作成機能を追加しようと思う。

posted by ゆき at 19:40| Comment(0) | TrackBack(0) | 日記
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

この記事へのトラックバックURL
http://blog.sakura.ne.jp/tb/40070540

この記事へのトラックバック