プログラマ ずんべ の日記

zunbe

プログラマ ずんべ の日記
プログラマ ずんべ の日記

探し物は見つかりましたか? サイト内検索を試してください。

Googlebot がやってくる Googlebot がやってくる 高機能アクセス解析CGI 高機能アクセス解析CGI

2005/09/21

【サービス】Yahoo! Slurp がやってくる

アクセスログをよく見ると、Googlebot よりも Yahoo! Slurp の方が、アクセス頻度が高いようだ。
2005/09/09以降、毎日3回~5回のアクセスがある。
近々だと、こんな感じ。

 2005/09/17 01:29:41
 2005/09/17 02:37:07
 2005/09/17 08:26:00
 2005/09/17 15:21:50
 2005/09/18 01:33:35
 2005/09/18 04:16:35
 2005/09/18 17:08:06
 2005/09/18 18:00:30
 2005/09/19 06:02:57
 2005/09/19 19:26:17
 2005/09/20 03:49:24
 2005/09/20 20:29:17

Googlebot と同じく、毎日来るクローラは、/ しか拾っていかない。

が、頻繁にアクセスは来るものの、肝心の検索データベースへの登録は鈍いようだ。
今(2005/09/21時点)、Yahoo! でこのサイトを検索して、トップページの更新日付を見ると、2005/09/08 となっている。
キャッシュを覗いてみると、確かにこの日付のページがキャッシュされている。
毎日クロールに来るのに、なぜか反映されていない。

ところが、もう少しキーワードを加えて検索してみると、少し事情が違う様だ。

プログラマずんべの日記 我が子」で検索すると…
  → 2005/09/15 に書いた「我が子 初公開」がヒットする。

プログラマずんべの日記 税務調査」で検索すると…
  → 2005/09/03 に書いた「務調査 2日目」にヒットする。

最新情報が反映されていれば、後者の検索では 2005/09/16 に書いた「税務調査 その後」にヒットするはずであるが、ヒットしない。
つまり、検索データベースには、2005/09/15 にクロールした情報までが反映されているという事になる。

どうも、クロールしてから検索データベースに反映するまで、かなり時間がかかっているようだ。
これでは、毎日クロールに来ても、ぜんぜん意味がないのではないだろうか。
いったい何のために毎日クロールしているのだろう?

Yahoo! Slurp と挙動と検索データベースへの登録ルールが、イマイチよくわからない。



このエピソードはいかがでしたか?

投稿者 zunbe : 2005/09/21 00:18:23


コメント

コメントしてください






保存しますか?


スパム対策:
この入力フィールドに「96」と入力してください。


プログラマ ずんべ の日記:ずばヒット アマゾン