科学数据损失压缩：应用约束与要求
天体物理仪器与方法
2025-03-27 v1 计算工程、金融与科学
摘要
来自科学模拟和仪器（超级计算机、加速器、望远镜）的数据卷往往超过网络、存储和分析能力。科学社区应对这一挑战的响应是科学数据降低。降低可以采取多种形式，如触发、抽样、过滤、量化和降维。本报告聚焦于特定技术：损失压缩。损失压缩保留所有数据点，利用相关性和受控的降低精度。质量约束，特别是对感兴趣的量的约束，对于保留科学发现至关重要。用户要求还包括压缩比和速度。虽然已发表了许多关于损失压缩技术的论文，以及由社区共享的参考数据集，但缺乏对应用需求的详细规格，这些规格可以指导损失压缩研究人员和开发人员。本报告通过报告九个科学应用的需求和约束来填补这一空白，这些应用涵盖了广泛的领域（气候、燃烧、宇宙、核聚变、光源、分子动力学、量子电路仿真、地震和系统日志）。报告还详细描述了关键的损失压缩技术（SZ、ZFP、MGARD、LC、SPERR、DCTZ、TEZip、LibPressio），讨论了它们的历史、原理、误差控制、硬件支持、功能和影响。通过呈现应用需求和压缩技术，报告旨在激发新的研究以填补现有差距。
引用
@article{arxiv.2503.20031,
title = {Lossy Compression of Scientific Data: Applications Constrains and Requirements},
author = {Franck Cappello and Allison Baker and Ebru Bozda and Martin Burtscher and Kyle Chard and Sheng Di and Paul Christopher O Grady and Peng Jiang and Shaomeng Li and Erik Lindahl and Peter Lindstrom and Magnus Lundborg and Kai Zhao and Xin Liang and Masaru Nagaso and Kento Sato and Amarjit Singh and Seung Woo Son and Dingwen Tao and Jiannan Tian and Robert Underwood and Kazutomo Yoshii and Danylo Lykov and Yuri Alexeev and Kyle Gerard Felker},
journal= {arXiv preprint arXiv:2503.20031},
year = {2025}
}
备注
33 pages