分散コンピューティングBOINCのWCGプロジェクト日報サイト「WCG-Team 2ch:404」のBOINC@MIXI版です。
ちょっと前(2008-12-05)から制作に入っているのですが、基盤はあったので、まぁ順調に進んでいるところです。
システムはPerlでmod_perlに対応。自作のキャッシュ機能付きテンプレートモジュールとの併用で、体感速度も大幅に向上。
もともとメンバ数が少ないのもあるのでしょうが。
mixiではアスキーアートの表示を意識したスタイル設定が存在しないので、日報支援機能はありません。
要望があればmixiに対応したものを考えますが、文字の幅を調べてもらえるならば、専用のモジュールを作ってもいいですね。
とりあえず、今はここだけの公開ですが、興味があればWCG-BOINC@MIXI:404までお越しください。
もう少し様子を見て問題なければmixiに投稿します。
「分散コンピューティング」カテゴリーアーカイブ
ちょっと調整しました
国の情報が取得できていないのを発見したので、ちょっと調整してみました。
なんだかんだで時間がぜんぜん取れませんし、自力でのデータ取得もいまだに不可能。
回線を引くにも金はないし、そもそも時間がないという悪循環。
貧乏暇なしとは言いますが、金も時間も自分で作るもの。
時間がないというのはただの言い訳でしかないのです。
今年中には、もうちょっと手を入れたいですね。
いつ実現するかわかりませんが、自力で取得できるようになって、回線も太くなったときには、今のテキスとファイルでデータを管理するのではなく、データベースに放り込んで集計を行いたいですね。
ユーザー名を改めました
いままでは、ほぼ家から出ない毎日でしたが、定期的に外出するようになりましたので、スレルールにのっとってヒキ板からの離脱となりました。
現在JavaScript(Ajax)で処理しているシステムをflash化するためにActionScriptの勉強を開始したということもあり、404@hikkyから」404@swfに変更しました。
FLASH板の皆様、質問スレに厄介になるかもしれませんが、そのときはよろしくお願いいたします。m(
_ _)m
データ取得元が不調なようです。
日報の皆様、いつもお疲れさまです。
さて、最近ずっと取得の不調が続いてます。
WCGから接続ブロックを食らったので(憶測ですが)データの取得元をにっぽー氏のXMLに切り替えたのですが、こちらでも調子が悪いようです。
さっき確認した中では、txtは正常そうでしたがxmlは空っぽでした。
最近何かと忙しく、かまう時間がなかなか取れずに申し訳ございません。
ただ、管理を放棄したわけではありませんので、首を長くしてお待ちいただければと思います。
バックアップしました
3ヶ月以前の書庫ファイルは、サーバ上からは削除しました。
バックアップ用HDには残してありますが、使い道はないかもしれません。
WCGクローラ動いてます
たまにおかしな動作をしますが、スクリプトがおかしいというか、
対策をちゃんと施してないというか、取得先の問題のようです。
データ自体を問題なく確保できれば、ぜんぜん問題ないのですが、
こればかりはどうしようもないでしょう。
にっぽー@newsVIP氏のデータをお借りすることに成って、若干修正しました。
今のクロールは、cronから14:30に実行させています。
昔のように常駐ではなく、処理が終われば終了します。
そのため、監視ログはスッキリしていると思います。
日報サイトも分散が始まったようですし、なにかしら日報できるようになるのかもしれません。
たまに迷惑をおかけしますが、それも404の味ということで・・・
(念のため断っておきますが、業務として請負ったものはちゃんと対策してます)
ブログパーツが悲惨な事に
このサイトでも使っているWCG用ブログパーツですが、
スタイルシートのfloatの影響なのか縦にびょ~~~んと伸びてしまいますね。
公開当時より環境も変わってきているし、
また何らかの手入れが必要なのかもしれません。
といっても、まだ時間があまり取れませんが。
flashもいいなぁ・・・
XMLのパースで行き詰る
再開に向けて、スクリプトを見直してます。
XMLファイルの処理が問題です。
XML::Simpleが異常にメモリを食うのです。
Core2マシンではさほどたいしたことはないのですが、
ペンⅢ800Mマシンにとっては致命的。
なぜかメモリをどんどん食いつぶして180Mぐらい食ってプロセスが固まります。
といってもゾンビになるわけではなくて実行中のまま。
よくわかんない。
そろそろXML::LibXMLの出番かな~
Windowsの場合、ppmのリポジトリを追加してからインストール
ppm install XML-LibXML Downloading bribes packlist...done Updating bribes database...done ppm install failed: Can't find any package that provide XML-LibXML D:\homepage\wcg-team2ch>ppm rep add "theoryx" "http://theoryx5.uwinnipeg.ca/ppms/" Downloading theoryx packlist...done Updating theoryx database...done Repo 4 added. > ppm install XML-LibXML Downloading theoryx packlist...not modified Downloading XML-LibXML-1.64...done Downloading XML-SAX-0.16...done Downloading XML-NamespaceSupport-1.09...done Downloading XML-LibXML-Common-0.13...done Unpacking XML-LibXML-1.64...done Unpacking XML-SAX-0.16...done Unpacking XML-NamespaceSupport-1.09...done Unpacking XML-LibXML-Common-0.13...done Generating HTML for XML-LibXML-1.64...done Generating HTML for XML-SAX-0.16...done Generating HTML for XML-NamespaceSupport-1.09...done Generating HTML for XML-LibXML-Common-0.13...done Updating files in site area...done Downloading XML-LibXML-Common-0.13 install script...done Running XML-LibXML-Common-0.13 install script...Set up gcc environment - 3.2 (mingw special 20020817-1) A copy of the needed library libxml2.dll was found in C:\Tcl\bin\libxml2.dll. If this is compatible with the version (2.6.27) used to compile the Perl module, all that is needed to complete the installation is to ensure C:\Tcl\bin\libxml2.dll is in your PATH environment variable. Fetch libxml2.dll? [no] Aborting download of libxml2.dll. done Downloading XML-LibXML-1.64 install script...done Running XML-LibXML-1.64 install script...Set up gcc environment - 3.2 (mingw special 20020817-1) Do you want to alter ParserDetails.ini? [yes] C:\Perl\bin\perl.exe -MXML::SAX -e "XML::SAX->add_parser(q(XML::LibXML::SAX::Parser))->save_parsers()" C:\Perl\bin\perl.exe -MXML::SAX -e "XML::SAX->add_parser(q(XML::LibXML::SAX))->save_parsers()" done 103 files installed
ちなみに
cpan install XML::LibXML
ではNOT OKといわれる
Linuxの場合
cpan install XML::LibXML
では散々エラーをはくが、
yum install perl-XML-LibXML
でok。
サーバーを再構築中
落ちる頻度があまりにも高いので、
サーバーのOSをWindowsからLinuxにします。
とりあえず、一番使い込んでるCentOSになります。
あと、日報ですが、新しく線を引くか、
誰かにIPブロックを解除してもらえるようにフォーラムに凸してもらわないと、
つなげないものはどうしようもありません。
引越しすることになったら、新しい回線になるので、
また再開は出来るかもしれません。
頑張ったけど高校の英語は3年間赤点でした。もえたんも挫折。
私はチーム名「Team 2ch」の解析結果をサイトで公開しているものです。
www.worldcommunitygrid.org/boinc/stats/user.gzのファイルでは、
解析時間やリザルトの提出率といった情報が欠けているため、
やむなく個別ページのXMLファイルを取得しております。
しかしこの方法では、500エラーも多く、期待したレスポンスが得られないことが多発しております。
最近では、リクエストを一定時間受け付けないというメッセージも表示され、
チームに所属するユーザーの情報を取得し終わるのに時間がかかったり、
場合によっては次の更新までに完了せず、取得を断念せざるを得ないこともありました。
このままでは負荷をかけ続ける原因として、当方がアクセスを拒否されることを懸念しており、
解析結果を楽しみにしているTeam 2chに所属するメンバーへの影響も考えられます。
こちらの希望といたしましては、個別ページの情報を効率よく取得できる方法を用意していただくか、
または、www.worldcommunitygrid.org/boinc/stats/user.gzに欠けている情報を補っていただけないものか、
ご相談に伺いました。
よろしければご検討いただければ幸いです。
以上