WCG-BOINC@MIXI

分散コンピューティングBOINCのWCGプロジェクト日報サイト「WCG-Team 2ch:404」のBOINC@MIXI版です。
ちょっと前(2008-12-05)から制作に入っているのですが、基盤はあったので、まぁ順調に進んでいるところです。
システムはPerlでmod_perlに対応。自作のキャッシュ機能付きテンプレートモジュールとの併用で、体感速度も大幅に向上。
もともとメンバ数が少ないのもあるのでしょうが。
mixiではアスキーアートの表示を意識したスタイル設定が存在しないので、日報支援機能はありません。
要望があればmixiに対応したものを考えますが、文字の幅を調べてもらえるならば、専用のモジュールを作ってもいいですね。
とりあえず、今はここだけの公開ですが、興味があればWCG-BOINC@MIXI:404までお越しください。
もう少し様子を見て問題なければmixiに投稿します。

ちょっと調整しました

国の情報が取得できていないのを発見したので、ちょっと調整してみました。
なんだかんだで時間がぜんぜん取れませんし、自力でのデータ取得もいまだに不可能。
回線を引くにも金はないし、そもそも時間がないという悪循環。

貧乏暇なしとは言いますが、金も時間も自分で作るもの。
時間がないというのはただの言い訳でしかないのです。

今年中には、もうちょっと手を入れたいですね。
いつ実現するかわかりませんが、自力で取得できるようになって、回線も太くなったときには、今のテキスとファイルでデータを管理するのではなく、データベースに放り込んで集計を行いたいですね。

ユーザー名を改めました

いままでは、ほぼ家から出ない毎日でしたが、定期的に外出するようになりましたので、スレルールにのっとってヒキ板からの離脱となりました。
現在JavaScript(Ajax)で処理しているシステムをflash化するためにActionScriptの勉強を開始したということもあり、404@hikkyから」404@swfに変更しました。
FLASH板の皆様、質問スレに厄介になるかもしれませんが、そのときはよろしくお願いいたします。m(
_ _)m

データ取得元が不調なようです。

日報の皆様、いつもお疲れさまです。
さて、最近ずっと取得の不調が続いてます。
WCGから接続ブロックを食らったので(憶測ですが)データの取得元をにっぽー氏のXMLに切り替えたのですが、こちらでも調子が悪いようです。
さっき確認した中では、txtは正常そうでしたがxmlは空っぽでした。

最近何かと忙しく、かまう時間がなかなか取れずに申し訳ございません。
ただ、管理を放棄したわけではありませんので、首を長くしてお待ちいただければと思います。

WCGクローラ動いてます

たまにおかしな動作をしますが、スクリプトがおかしいというか、
対策をちゃんと施してないというか、取得先の問題のようです。
データ自体を問題なく確保できれば、ぜんぜん問題ないのですが、
こればかりはどうしようもないでしょう。
にっぽー@newsVIP氏のデータをお借りすることに成って、若干修正しました。
今のクロールは、cronから14:30に実行させています。
昔のように常駐ではなく、処理が終われば終了します。
そのため、監視ログはスッキリしていると思います。

日報サイトも分散が始まったようですし、なにかしら日報できるようになるのかもしれません。
たまに迷惑をおかけしますが、それも404の味ということで・・・
(念のため断っておきますが、業務として請負ったものはちゃんと対策してます)

ブログパーツが悲惨な事に

このサイトでも使っているWCG用ブログパーツですが、
スタイルシートのfloatの影響なのか縦にびょ~~~んと伸びてしまいますね。

公開当時より環境も変わってきているし、
また何らかの手入れが必要なのかもしれません。
といっても、まだ時間があまり取れませんが。

flashもいいなぁ・・・

XMLのパースで行き詰る

再開に向けて、スクリプトを見直してます。
XMLファイルの処理が問題です。
XML::Simpleが異常にメモリを食うのです。
Core2マシンではさほどたいしたことはないのですが、
ペンⅢ800Mマシンにとっては致命的。

なぜかメモリをどんどん食いつぶして180Mぐらい食ってプロセスが固まります。
といってもゾンビになるわけではなくて実行中のまま。
よくわかんない。
そろそろXML::LibXMLの出番かな~

Windowsの場合、ppmのリポジトリを追加してからインストール

 ppm install XML-LibXML
Downloading bribes packlist...done
Updating bribes database...done
ppm install failed: Can't find any package that provide XML-LibXML

D:\homepage\wcg-team2ch>ppm rep add "theoryx" "http://theoryx5.uwinnipeg.ca/ppms/"
Downloading theoryx packlist...done
Updating theoryx database...done
Repo 4 added.

> ppm install XML-LibXML
Downloading theoryx packlist...not modified
Downloading XML-LibXML-1.64...done
Downloading XML-SAX-0.16...done
Downloading XML-NamespaceSupport-1.09...done
Downloading XML-LibXML-Common-0.13...done
Unpacking XML-LibXML-1.64...done
Unpacking XML-SAX-0.16...done
Unpacking XML-NamespaceSupport-1.09...done
Unpacking XML-LibXML-Common-0.13...done
Generating HTML for XML-LibXML-1.64...done
Generating HTML for XML-SAX-0.16...done
Generating HTML for XML-NamespaceSupport-1.09...done
Generating HTML for XML-LibXML-Common-0.13...done
Updating files in site area...done
Downloading XML-LibXML-Common-0.13 install script...done
Running XML-LibXML-Common-0.13 install script...Set up gcc environment - 3.2 (mingw special 20020817-1)

A copy of the needed library libxml2.dll was found in
C:\Tcl\bin\libxml2.dll. If this is compatible with the version (2.6.27)
used to compile the Perl module, all that is needed to
complete the installation is to ensure
C:\Tcl\bin\libxml2.dll is in your PATH environment variable.

Fetch libxml2.dll? [no]
Aborting download of libxml2.dll.
done
Downloading XML-LibXML-1.64 install script...done
Running XML-LibXML-1.64 install script...Set up gcc environment - 3.2 (mingw special 20020817-1)

Do you want to alter ParserDetails.ini? [yes]
C:\Perl\bin\perl.exe -MXML::SAX -e "XML::SAX->add_parser(q(XML::LibXML::SAX::Parser))->save_parsers()"
C:\Perl\bin\perl.exe -MXML::SAX -e "XML::SAX->add_parser(q(XML::LibXML::SAX))->save_parsers()"
done
 103 files installed

ちなみに

cpan install XML::LibXML

ではNOT OKといわれる

Linuxの場合

cpan install XML::LibXML

では散々エラーをはくが、

yum install perl-XML-LibXML

でok。

サーバーを再構築中

落ちる頻度があまりにも高いので、
サーバーのOSをWindowsからLinuxにします。
とりあえず、一番使い込んでるCentOSになります。

あと、日報ですが、新しく線を引くか、
誰かにIPブロックを解除してもらえるようにフォーラムに凸してもらわないと、
つなげないものはどうしようもありません。

引越しすることになったら、新しい回線になるので、
また再開は出来るかもしれません。

頑張ったけど高校の英語は3年間赤点でした。もえたんも挫折。

私はチーム名「Team 2ch」の解析結果をサイトで公開しているものです。
www.worldcommunitygrid.org/boinc/stats/user.gzのファイルでは、
解析時間やリザルトの提出率といった情報が欠けているため、
やむなく個別ページのXMLファイルを取得しております。
しかしこの方法では、500エラーも多く、期待したレスポンスが得られないことが多発しております。
最近では、リクエストを一定時間受け付けないというメッセージも表示され、
チームに所属するユーザーの情報を取得し終わるのに時間がかかったり、
場合によっては次の更新までに完了せず、取得を断念せざるを得ないこともありました。
このままでは負荷をかけ続ける原因として、当方がアクセスを拒否されることを懸念しており、
解析結果を楽しみにしているTeam 2chに所属するメンバーへの影響も考えられます。
こちらの希望といたしましては、個別ページの情報を効率よく取得できる方法を用意していただくか、
または、www.worldcommunitygrid.org/boinc/stats/user.gzに欠けている情報を補っていただけないものか、
ご相談に伺いました。
よろしければご検討いただければ幸いです。
以上