Financial System
Tick data analysis system with up to 200 million records per day
金融商品は、株式、デリバティブ、指数、CBなど多岐にわたっています。
そのティックデータ(約定および板)は、今や1日最大2億レコードを超え始めています。過去約15年にわたり蓄積された大量のティックデータを用いて、板変動、気配Bid-Askスプレッド、価格変動パターン、取引 回数／出来高分布、指数との相関変動などの分析を高 速に処理するシステムを構築しました。
Research Achievements
開発者コメント
Comment
大量データの
インタラクティブ分析
1日最大2億レコード、過去約15年にわたる膨大な量のティックデータを対象としながら、インタラクティブな分析を可能としました。
データを日別・銘柄別に分割することにより、キャッシュをうまく利用して、大量データに対する平均的な処理スピードを確保しています。
大量データの差分バックアップ
日々2億レコードから発生する大量のデータをバックアップします。
DBの更新ログから変更のあったデータのみを探り出し、差分バックアップを実施することにより、十分なバックアップ性能を確保しています。