■ サイトクローラー（巡回ロボット）クラス phpcrawl

・http://sourceforge.net/projects/phpcrawl/

※ phpcrawl には下記の不具合があります（2007.01.23現在）

・URI正規化が出来ない

・巡回間隔を設定できない（一気にアクセスしに行く）

・HTTPステータス 403 を理解しない

他にいいPHPのクローラーご存じの方いたら是非教えてください。

参考；http://blog.windy.ac/2005/10/post_196.html