頑張ったけど高校の英語は3年間赤点でした。もえたんも挫折。

私はチーム名「Team 2ch」の解析結果をサイトで公開しているものです。
www.worldcommunitygrid.org/boinc/stats/user.gzのファイルでは、
解析時間やリザルトの提出率といった情報が欠けているため、
やむなく個別ページのXMLファイルを取得しております。
しかしこの方法では、500エラーも多く、期待したレスポンスが得られないことが多発しております。
最近では、リクエストを一定時間受け付けないというメッセージも表示され、
チームに所属するユーザーの情報を取得し終わるのに時間がかかったり、
場合によっては次の更新までに完了せず、取得を断念せざるを得ないこともありました。
このままでは負荷をかけ続ける原因として、当方がアクセスを拒否されることを懸念しており、
解析結果を楽しみにしているTeam 2chに所属するメンバーへの影響も考えられます。
こちらの希望といたしましては、個別ページの情報を効率よく取得できる方法を用意していただくか、
または、www.worldcommunitygrid.org/boinc/stats/user.gzに欠けている情報を補っていただけないものか、
ご相談に伺いました。
よろしければご検討いただければ幸いです。
以上

WCGから取得できません

355 404 sage 2008/07/16(水) 22:35:26 ID:???

前にも書いた気がしますが。
これだけ頻繁に500エラーを返すんだから、他の参照方法を用意してくれればいいんですけど。
今のやり方では、人が増えるほど取得が難しくなってしまいますね。
BANされないかヒヤヒヤです。

WCGは7千件でこの状況ですが、
UDは6万件もあったのに、これほどひどい状況にはなってなかったと思います。
F@hでは、テキストファイルを落とすだけなので、すごく楽です。

アクセス拒否なのか?

エラー
アプリケーションは現時点では使用できません。後で再試行してください。
あなたのアクションはエラーになりました。

統計取得用のURIにアクセスすると、上記メッセージが表示されます。
再試行だから、完全な拒否じゃないとは思うけど、
1位になった直後にこれって、なんか作為的?

考えすぎか。

システム構築方法

移行に伴い、Linuxで動かすための覚書

gccが入っているかを確認、無ければインストール
yum install gcc
出来れば最新版が望ましい
すべてのファイルを展開
監視スクリプトcheck_wcg.plを実行
$ perl check_wcg.pl
沢山のエラーが出ると思うので、個別にインストールを行っていく。
出なければそのまま動きます。
出る内容はもしかすると違うかもしれません。
出たモジュールをインストールしてください。

CPANをを起動
初回であればいろんな設定を行うことになるが、ほぼデフォルトで良いのでenterを連打
設定が終わればインストール開始

まずは、HTTPからリソースを取得するためのモジュール
CPAN > install LWP::UserAgent
zlibとか、実行に必要なものも同時に入れてくれるのでしばらく待機

次に日本語を扱うためのモジュール
CPAN > install Jcode

次にzip書庫ファイルを作るためのモジュール
CPAN > install Archive::Zip

次にテンプレートエンジン
CPAN > install HTML::Template

これで、check_wcg.plは動くはず

次にstat.cgiの準備

日付の計算用モジュール
CPAN > install Date::Simple
もししっぱいしたら、[廃止]こっちを参考

次にアスキーアート用のモジュール。ちなみに私が作りました。
CPAN > install HTML::AA

これでstat.cgiも動くようになります。

blogStat.cgiを動かすにはXML::Simpleも必要でした。
CPAN > install XML::Simple

おさわがせしました

正直なところ、機能の追加に追加で、1つ弄ると別のところに影響が出てしまうようです。
また、こちらの想定外の使い方をしていることもあるみたいで、バグと思って昨日を正常化しても、それが逆に改悪となってしまうようです。

クッキーによる設定の変更なども、いろいろ問題が発生してしまっているようでうまくいきません。
手元には、細かな修正と機能追加の行われたスクリプトがあるものの、使えない機能が出るようなので(こちらでは確認できなかったのですが)、不本意ではありますが、巻き戻しいたしました。
もっと機能を追加したいのですが、1つのスクリプトで改修するには限界と考えます。

また、いい方法が見つかったときには、手を加えたいと思いますが、
いまはこれが精一杯です。
すいませんでした。