Thread: 用于Tick数据的HDF5

喜

有没有人使用HDF5而不是像（MySQL，PostgreSQL）这样的关系数据库

如果是这样，您使用外汇数据的经验是什么？

Originally Posted by ;

嗨，有没有人使用HDF5代替关系数据库，如（MySQL，PostgreSQL）如果是这样，你使用外汇数据的经验是什么？

我已经调查了它的蜱存储，发现它次优（至少对我来说）。主要问题是它专为不会发生变化的海量数据而设计。这意味着您必须指定数组的大小（即：4 mil刻度）。添加新的刻度需要调整数组的大小（可能很快）。这是可能的，但我不喜欢这样工作。顺便说一句，我只研究了几个小时，所以我可能错了。我已经下载了4个经纪商的所有价格数据：FXCM，dbFX，Dukascopy和GAIN Capital。我已经创建了一个自定义压缩刻度存储格式来存储它们。我有10 GB的刻度数据，如果将它们存储为未压缩的CSV文件，则需要200 GB。我的二进制结构和压缩平均为2个字节/刻度。我使用所需的最小字节数存储节拍（时间戳为4个字节，出价为3个字节，传播为2个字节，请求为出价 点差）。我使用LZMA（7-Zip压缩器之一）进行压缩。我将每天的刻度存储在一个单独的文件中，如FXCMEUR_USD2009_01_28.tick，...我还在每个文件的标题中输入我拥有的所有信息 - 经纪人名称，使用的API，对名称，数字计数，检索日期，这样如果文件以某种方式混淆，我就不会有问题。我现在有100.000个文件，但我希望通过将它们存储在月度档案中来聚合它们。我最初尝试使用SQLite，但它不能扩展，甚至不适用于M1蜡烛。 PostgreSQL会处理更多，但它肯定无法处理我所拥有的滴答数量。在工作中（我是计算机程序员）我们的一个使用HBase进行海量数据存储。您可能想要对此进行调查，但它需要一个集群才能实现最佳使用（它们现在有10台机器，存储大约2 TB的数据，10亿条记录）。编辑：我正在进行的滴答下载的屏幕截图 - http://dl.dropbox.com/u/190212/public/tick.png

谢谢阿达尔，看起来很有趣。目前我决定使用HDF5。

有没有人对您的刻度存储体验有任何新的意见？我也在研究这个问题。谢谢！