2005/09/21
アクセスログをよく見ると、Googlebot よりも Yahoo! Slurp の方が、アクセス頻度が高いようだ。
2005/09/09以降、毎日３回～５回のアクセスがある。
近々だと、こんな感じ。
2005/09/17 01:29:41
2005/09/17 02:37:07
2005/09/17 08:26:00
2005/09/17 15:21:50
2005/09/18 01:33:35
2005/09/18 04:16:35
2005/09/18 17:08:06
2005/09/18 18:00:30
2005/09/19 06:02:57
2005/09/19 19:26:17
2005/09/20 03:49:24
2005/09/20 20:29:17
Googlebot と同じく、毎日来るクローラは、/ しか拾っていかない。
が、頻繁にアクセスは来るものの、肝心の検索データベースへの登録は鈍いようだ。
今（2005/09/21時点）、Yahoo! でこのサイトを検索して、トップページの更新日付を見ると、2005/09/08 となっている。
キャッシュを覗いてみると、確かにこの日付のページがキャッシュされている。
毎日クロールに来るのに、なぜか反映されていない。
ところが、もう少しキーワードを加えて検索してみると、少し事情が違う様だ。
「プログラマずんべの日記 我が子」で検索すると…
→ 2005/09/15 に書いた「我が子 初公開」がヒットする。
「プログラマずんべの日記 税務調査」で検索すると…
→ 2005/09/03 に書いた「務調査 ２日目」にヒットする。
最新情報が反映されていれば、後者の検索では 2005/09/16 に書いた「税務調査 その後」にヒットするはずであるが、ヒットしない。
つまり、検索データベースには、2005/09/15 にクロールした情報までが反映されているという事になる。
どうも、クロールしてから検索データベースに反映するまで、かなり時間がかかっているようだ。
これでは、毎日クロールに来ても、ぜんぜん意味がないのではないだろうか。
いったい何のために毎日クロールしているのだろう？
Yahoo! Slurp と挙動と検索データベースへの登録ルールが、イマイチよくわからない。
投稿者 zunbe : 2005/09/21 00:18:23
|
