SZ3：一个用于组合基于预测的误差有界有损压缩器的模块化框架
分布式、并行与集群计算
2021-11-15 v2
摘要
当今的科学模拟由于产生极其庞大的数据量以及有限的 I/O 带宽和存储空间，需要大幅减少数据量。误差有界有损压缩器被认为是解决上述问题最有效的方案之一。然而在实践中，由于不同数据集的多样特征以及用户对压缩质量和性能的各种要求，最适配的压缩方法通常需要进行定制/优化。在本文中，我们开发了一种新颖的模块化、可组合的压缩框架（即 SZ3），其中包含三项重要贡献。(1) SZ3 为基于预测的压缩框架提供了模块化抽象，使得新的压缩模块可以轻松插入。(2) SZ3 支持多算法预测器，并可根据设计的误差估计准则为每个数据块自动选择最适配的预测器。(3) SZ3 允许用户按需轻松组合不同的压缩流水线，从而显著提升针对其特定数据集和要求的压缩质量与性能。(4) 此外，我们使用真实世界数据集评估了由 SZ3 组合而成的几种有损压缩器。具体而言，我们利用 SZ3 改进了不同用例的压缩质量和性能，包括 GAMESS 量子化学数据集和 Advanced Photon Source (APS) 仪器数据集。实验表明，在相同数据失真下，与 SOTA 方法相比，我们定制的压缩流水线在压缩率上最高提升了 20%。
引用
@article{arxiv.2111.02925,
title = {SZ3: A Modular Framework for Composing Prediction-Based Error-Bounded Lossy Compressors},
author = {Xin Liang and Kai Zhao and Sheng Di and Sihuan Li and Robert Underwood and Ali M. Gok and Jiannan Tian and Junjing Deng and Jon C. Calhoun and Dingwen Tao and Zizhong Chen and Franck Cappello},
journal= {arXiv preprint arXiv:2111.02925},
year = {2021}
}
备注
13 pages