基于自动调优多分量插值的高性能有效科学误差有界有损压缩
分布式、并行与集群计算
2024-09-26 v3 计算工程、金融与科学
数据库
摘要
误差有界有损压缩已被认为是能在用户对数据失真要求下显著缩减科学数据量的一种有前景的方案。对于现有的科学误差有界有损压缩器，其中一些（如 SPERR 和 FAZ）可达到相当高的压缩比，另一些（如 SZx、SZ 和 ZFP）具有高速压缩特性，但它们很少同时具备高压缩比与高速度。本文中，我们提出 HPEZ，其具有新设计的插值方法和质量度量驱动的自动调优，相较于现有高性能压缩器具有显著改善的压缩质量，同时比高压缩比压缩器快得多。关键贡献在于以下几点：（1）我们开发了一系列先进技术，如插值重排序、多维插值和自然三次样条，以基于插值的数据预测显著改善压缩质量。（2）HPEZ 中的自动调优模块经精心设计并采用新颖策略，包括但不限于分块插值调优、动态维度冻结和 Lorenzo 调优。（3）我们在六个真实科学数据集上针对许多其他压缩器对 HPEZ 进行了全面评估。实验表明，在相同误差界下 HPEZ 的压缩比较其他高性能误差有界有损压缩器高出至多 140%，在相同 PSNR 下高出至多 360%。在分布式数据库的并行数据传输实验中，HPEZ 相较次优压缩器实现了显著性能提升，时间开销减少至多 40%。
引用
@article{arxiv.2311.12133,
title = {High-performance Effective Scientific Error-bounded Lossy Compression with Auto-tuned Multi-component Interpolation},
author = {Jinyang Liu and Sheng Di and Kai Zhao and Xin Liang and Sian Jin and Zizhe Jian and Jiajun Huang and Shixun Wu and Zizhong Chen and Franck Cappello},
journal= {arXiv preprint arXiv:2311.12133},
year = {2024}
}