HDF5、Zarr 与 netCDF4 在执行常见 I/O 操作中的比较
分布式、并行与集群计算
2023-02-07 v2
摘要
科学数据通常存储在文件中，因为文件在管理、传输和共享数据方面提供了简便性。这些文件通常以特定的结构进行组织，并包含用于理解数据存储结构的元数据。在各个科学领域中使用的众多文件格式提供了用于存储和检索数据的抽象。随着旨在快速简便地存储大量科学数据的文件格式层出不穷，一个问题随之产生：“哪种科学文件格式最适合通用用例？”在本研究中，我们编译了一组针对常见文件操作（即创建、打开、读取、写入和关闭）的基准测试，并利用这些基准测试的结果比较了三种流行格式：HDF5、netCDF4 和 Zarr。
引用
@article{arxiv.2207.09503,
title = {A Comparison of HDF5, Zarr, and netCDF4 in Performing Common I/O Operations},
author = {Sriniket Ambatipudi and Suren Byna},
journal= {arXiv preprint arXiv:2207.09503},
year = {2023}
}
备注
6 pages, 12 figures