大量サイトおよびページに対してGoogleのクローラーを一斉に呼び込みますと、
サーバーの負荷が増大し正常にクローラーが巡回できない可能性があります。

ウェブマスターツールで「クローラーの呼び込み間隔を適切に設定する」
「サイトマップに含まれるウェブページの件数を急激に増やさない」などの工夫をしていただくことで、
より円滑にクローラーを巡回させることが可能です。

これらの設定はサーバー負荷分散にもつながり、結果サイトのレスポンスが向上しますので、是非お試しください。

なお、こちらはGoogleクローラーに関わらず、すべてのクローラーにおいて共通の事項となります。