PETRA III 数据集的无损压缩性能

大型科研设施日益面临在维持可持续归档基础设施的同时管理快速增长的数据量的挑战。我们针对来自 PETRA III 同步辐射源的代表性数据集，首次全面研究了数据异质性及通用无损压缩性能。我们的语料库包含来自跨越多个光束线、探测器系统和科学工作流的十项实验的超过 212 TiB 的原始与处理数据。我们观察到实验之间和实验内部均存在显著的异质性，导致不同数据集的压缩率相差超过两个数量级。在评估九种广泛使用的无损压缩工具时，我们发现 Zstandard 和 LZ4 始终占据 Pareto 前沿的高吞吐量区域，而 ZPAQ 实现了最高的压缩率。此外，将压缩器选择适应于底层文件类别的异构压缩策略优于统一压缩策略。从基准数据集外推至完整的 PETRA III 非磁带存储系统，我们估计在约 900 MiB/s 吞吐量下可实现约 1.6 的压缩率，在约 2 MiB/s 吞吐量下可实现 2.1 的压缩率。这些结果为 PETRA III、其未来继任者 PETRA IV 及其他大型科学设施未来的归档和存储决策提供了定量基础。