[PHP-users 19789]Re: リンク切れHTMLファルのチェック

[HAYAKAWA Hiroshi]

早川＠名古屋 です。

on 04.1.8 11:12 AM, Teruyuki Wakamatsu at terupost ＠ mxa.mesh.ne.jp wrote:

> ■手法その他
> PostgresでURLリストを管理しPHPで処理を使ってます。
> URLのほとんどはクリーニングしたばかりなので無効の
> ものはないですから全て正常な数値が返ります。
> 
> pg_execで指定件数のURLを抽出して、ループで1件づつ
> fsockopen->HEADリクエスト->返った内容の結果をブラウザ
> にリストとして表示させてます。
> 
> ・100件で15秒程度で結果が返ります。
> 　　全部正常でホストに接続もリクエストもできました。
> ・1000件だと50秒で返ります。
> 　　4件のみホストに接続不可。内2件404、2件は直接確認で正常でした。

なるほど、そういうことでしたか。
てっきりリンク集ディレクトリのようなサイトをお持ちで、
それをチェックされるのかと思ってました。
これでしたら前稿の心配はいりませんでしたね。

fsockopenによる処理も速いようですね。
1時間もあれば数万件終わりそうですし。
ただサーバーは専有ではなく共有っぽいので、
それだと数万件一気にやろうとするとまずいかもしれませんね。

できれば数万件のうちにどの程度のエラーURIが含まれ、
それを含めての時間を知りたかったのですが、
（数万件もあれば少しは統計値に近づくかなと思ったので）
またの機会がありましたらついでで結構ですので教えてください。


-----
With your dreaming, with your smile.
Hayakawa, Hiroshi <hayakawa ＠ sam.hi-ho.ne.jp>
Nagoya,Aichi,JAPAN ☆彡