FRaZ:一种面向科学浮点数据的通用高保真定比有损压缩框架
分布式、并行与集群计算
2020-01-20 v1
摘要
随着高性能计算应用产生的科学浮点数据量不断增长,大幅缩减科学浮点数据规模至关重要,且误差可控的有损压缩器已研发多年。然而,现有科学浮点有损数据压缩器均不支持有效的定比有损压缩。但科学浮点数据的定比有损压缩不仅按请求比率压缩,还以更高保真度遵从用户指定的误差界。本文提出 FRaZ:一个遵从用户指定误差约束的通用定比有损压缩框架。贡献有两点。(1) 我们开发了一种高效的迭代方法,基于目标压缩比准确确定不同有损压缩器的适当误差设置。(2) 我们利用来自不同领域的多个真实世界科学浮点数据集,针对所提定比压缩框架配合多种最先进的误差可控有损压缩器进行了全面的性能与精度评估。实验表明,FRaZ 能在任意给定有损压缩器的整个误差设置空间中有效识别最优误差设置。尽管定比有损压缩比定误差压缩慢,它为极大型科学浮点数据集的用户提供了一种重要的新型有损压缩技术。
引用
@article{arxiv.2001.06139,
title = {FRaZ: A Generic High-Fidelity Fixed-Ratio Lossy Compression Framework for Scientific Floating-point Data},
author = {Robert Underwood and Sheng Di and Jon C. Calhoun and Franck Cappello},
journal= {arXiv preprint arXiv:2001.06139},
year = {2020}
}
备注
12 pages