データの高速処理

以前にビッグデータの取扱ということで「Hadoop」という複数のマシンで分散して処理を行うソフトウェアを紹介しました。

複数のマシンで分散し処理を行うことで、作業の効率化が得られ、単独のマシンで処理を行う時間に比べ大幅に削減出来るようになります。

さらに処理を早くするための技術としてインメモリーコンピューティングというものがあります。
一言で言えばすべてのでーたをメモリ上で持つことにより処理を圧倒的に高速化するというものです。
インメモリーで処理をすることは、通常のHDDでは一回一回HDDへの書き込みを行い、書き込んだデータをメモリ上に引き出し、そこで処理を行い、再度HDDへ書き込むということになりますが、インメモリーコンピューティングでは、都度HDDからデータ引き出すこと無く、全てをメモリ上で処理をし、保存、そして次の処理を行うというもので倉庫から書類を探し、机に持ち帰り作業を行うのか、机に全ての書類がありそこで作業を行うのかと例えられます。その処理速度でいえば、一説では10万倍の処理速度の違いと言われています。

仮に10万倍の速度となるようであれば、ミリ秒で行われるような処理は、10万倍の速度となるとナノ秒、マイクロ秒という数字になりますが、実際には通信等他でロスが発生するものがありますので、実現するのは難しいと思われますが、例えば1秒程度の処理を行うのであれば、ミリ秒単位までは縮めることが出来る場合もあり、十分な高速化のメリットを享受することができそうです。

もちろんこの技術を利用するにはコスト的な問題、容量的な問題はありますが、一昔前に比べハードウェア特にメモリの巨大化と低価格化により、コストや容量も実運用可能な水準にまでなっています。

巨大なデータからのモデルで運用を行なっているのであれば、その有効性は計り知れないかもしれませんね。


にほんブログ村 先物取引ブログへ

テーマ:システムトレード - ジャンル:株式・投資・マネー

18 : 51 : 20 | etc | トラックバック(1) | コメント(0) | page top↑
<<トレードが可能にする"ワーク・ライフ・バランス"のとれた生活 | ホーム | CME Direct>>
コメント

コメントの投稿














管理者にだけ表示を許可する

トラックバック
トラックバックURL
http://ateye.blog52.fc2.com/tb.php/478-5cf09c28
この記事にトラックバックする(FC2ブログユーザー)
まとめtyaiました【データの高速処理】
以前にビッグデータの取扱ということで「Hadoop」という複数のマシンで分散して処理を行うソフトウェアを紹介しました。複数のマシンで分散し処理を行うことで、作業の効率化が得られ、単独のマシンで処理を行う時間に比べ大幅に削減出来るようになります。さらに処理を早... まとめwoネタ速neo【2012/05/24 00:43】
| ホーム |

プロフィール

M.J.

Author:M.J.
岡安商事株式会社
マーケティング部
「Net Trade Pro」 の方を対象に
新規口座の案内、サポートを
行うために開設された部署です。

プロトレーダーやシステム
トレードに関するお問い合わせはこちら
こちらまで
traders@okayasu-shoji.co.jp

最新コメント

最新トラックバック

月別アーカイブ

カテゴリ

はじめに (2)
X-TRADER (126)
Market Explorer (1)
Order Book (1)
Commodity (38)
TT Demo (3)
TraderWorkStation (3)
Market Window (1)
Tokyo Commodity Exchange (70)
Tokyo Financial Exchange (8)
Tokyo Grain Exchange (6)
Fill Window (1)
Trade Book (1)
Algorithmic trading (19)
Proprietary Trading Firm (1)
Strategy (20)
Asahitrust (20)
Audit Trail (1)
Customer List (1)
Tokyo Stock Exchange (4)
Autospreader (2)
Bond (2)
Nikkei 225 (1)
Theory (18)
Order (1)
Foreign Exchange (47)
Derivatives (66)
etc (345)
Broker (3)
終わりに (1)
ADL (7)
経済指標 (5)
取引所スケジュール (7)
New TOCOM (8)

リンク(順不同)

必ずお読み下さい

ランキング

人気ブログランキングへ にほんブログ村 先物取引ブログへ 商品先物取引ポータルへ 商品先物ブログ・RSSナビはウェブコモ マネポケ金融投資ブログランキング 商品先物ランキング

フリーエリア

Google Page Rank Checker

検索フォーム

RSSリンクの表示

ブロとも申請フォーム

この人とブロともになる

QRコード

QRコード

最新記事