面向动态质量度量的科学数据集有界误差无损压缩
分布式、并行与集群计算
2023-10-24 v1
摘要
随着高性能计算（HPC）应用执行规模的不断增长，科学研究每日产生海量数据。有界误差无损压缩因能以低时间成本显著缩减数据量，并允许用户通过指定误差界控制压缩误差，被视为解决科学应用大数据问题的极具前景的方案。然而，现有有界误差无损压缩器均基于僵化的设计或压缩流水线开发，无法适应不同应用用户所偏好的多样化压缩质量需求/度量。本文提出一种新颖的面向动态质量度量的有界误差无损压缩框架，即QoZ。具体贡献有三方面。（1）我们设计了一种新颖的高度参数化基于多级插值的数据预测器，能在相同压缩尺寸下显著提升整体压缩质量。（2）我们基于该自适应预测器设计了误差有界无损压缩框架QoZ，其能在在线压缩时根据用户指定质量度量自动调优关键参数并优化压缩结果。（3）我们在多种真实科学应用数据集上通过将QoZ的压缩质量与多个最先进方法比较，对其进行了细致评估。实验表明，相较于次优无损压缩器，QoZ在相同误差界下可实现高达70%的压缩比提升，在相同PSNR下高达150%的压缩比提升，或在相同SSIM下高达270%的压缩比提升。
引用
@article{arxiv.2310.14133,
title = {Dynamic Quality Metric Oriented Error-bounded Lossy Compression for Scientific Datasets},
author = {Jinyang Liu and Sheng Di and Kai Zhao and Xin Liang and Zizhong Chen and Franck Cappello},
journal= {arXiv preprint arXiv:2310.14133},
year = {2023}
}