[dennou-ruby:000844] Re: 地球電脳の概要について

[TOYODA Eizi <toyoda@xxxxxx>]

dennou-ruby 関係者の皆様、堀之内様
豊田です。

確かに私というか、気象庁はテラバイト級のデータに一番近いですね。数値予報課も
日々巨大なデータをどう取りまわすかで苦闘しています。ちょうど10月の気象学会
で、そんな取り組みの一端についてお話しします。（残念ながら私は当日岐阜市には
いけなくなってしまいましたが、代わりの者を行かせますのでよろしくお願いしま
す。）少しここでも取りとめもなく書かせていただきます。ご参考になれば幸いで
す。

1999年ごろスタートした、私の gtool4 や堀之内さんの NumArray は、メモリ上の
float 値の列からもっとインテリジェントな配列オブジェクトを作ろうという試み
だったという点に共通な特徴があるのだと思います。当然、オブジェクト全体を主記
憶なりディスクファイルなりに保持するならば、その大きさが配列オブジェクトの限
界となります。これではたしかに数ギガバイト程度が限度でしょう。

それらとの比較で申しますと、今数値で取り組んでいる pandora 計画と称する取り
組みは、ここ数年の解析値＋予報値の全体といった、まさしくテラバイト級で途方も
ないデータを配列オブジェクトとしてしまう試み、ということができるかもしれませ
ん。そこでは全体を格納するファイルなどといったものを考えることが出来ませんの
で、必ずなんらかの分節をして格納するということになります。

ファイルが複数となると、そこには普通ディレクトリの木構造が自然な構造としてあ
るわけです。DNS なんかでもそうですが、非常におおきくなると木構造というのがよ
く出てきます。これと多次元配列の整合をとる、というのが今私が悩んでいることで
す。

もうちょっというと、学会予稿に書きましたように、

    1）複数のドライブ、複数の機械などの物理的都合で分散しているものの統一的
びゅーを作ること
    2) どうせ出力はネットワークアクセスされがちであること、
    3) ファイル形式がいろいろであること

なんかが課題になってくるでしょう。私たちは プログラムAPI にこだわるのをやめ
て、これらを全部持っているふりをする HTTP サーバの応答を Application
INterface とするのがいいのではないかと考え始めているところです。

--
豊田英司: 気象庁予報部数値予報課
mailto:toyoda@xxxxxx
----- Original Message -----
From: Takeshi Horinouchi <horinout@xxxxxx>
Subject: [dennou-ruby:000835] Re: 地球電脳の概要について


> ごとけんさん、皆様
> (cc まつもとさん)
>
> 堀之内です。
>
> >   先週デンマークでDave Thomasらと会ってきたのですが、彼は地球
> >   電脳倶楽部のテラバイト級データの扱いについて関心をもったよう
> >   で、来週のNASAでのプレゼンで紹介したいと言ってました。
>
> あの Programming Ruby の作者に紹介されるとしたら、素晴らしい
> です。林さんもコメントされてるようにテラバイト級のデータの
> 扱いというのは、具体性のない希望の段階ですが、現有のまだまだ
> 貧弱な資源について、英語のドキュメントは作りはじめました。
> （というかまだ英語しかない）。ほんとに作り始めたばかりなんで、
> 全くなってないので恥ずかしいのですが ^^;
>
>   http://www.gfd-dennou.org/arch/ruby
>
> が入り口です。データハンドリングという点に関しては、リリース
> 目前の netcdf インターフェースに関し、密かにページを作り始
> めました:
>
>   http://www.gfd-dennou.org/arch/ruby/product/netcdf
>
>
> 現時点では要するにバイナリ―のファイルが比較的効率良く扱えるよう
> になりつつあるというだけで、まあ現実問題気楽に扱えるのは計算機の
> メモリーに無理なく乗る量までと言ったところです。そこから GB 級ま
> では無理なく行けそうですが(必要な処理を自動分割して一辺にファイ
> ルを読み込まないようにするとか)、TB 級データを上手にとなると
> ruby に限らず、どんな言語においても私自身はノウハウを知りません。
> 従って識者の協力は最低限必要でしょう。豊田さんは TB 級データを扱っ
> てるところに居ますから、ひょっとして何かイメージをお持ちかも。
>