NeurLZ：一种基于在线神经学习增强科学有损压缩的方法
分布式、并行与集群计算
2025-04-21 v4 人工智能
摘要
大规模科学模拟生成海量数据集，给存储和I/O带来挑战。传统有损压缩在平衡压缩比、数据质量和对多样化科学数据特征的适应性方面难以取得更大进展。虽然基于深度学习的解决方案已被探索，但它们普遍依赖大模型和离线训练的做法限制了其对动态数据特征的适应性和计算效率。为解决这些挑战，我们提出了NeurLZ，这是一种通过整合在线学习、跨场学习和鲁棒误差调控来增强有损压缩的神经方法。NeurLZ的关键创新包括：(1) 压缩时在线神经学习，采用轻量级跳跃DNN模型，无需昂贵的离线预训练即可适应残差；(2) 误差缓解能力，从传统压缩器忽略的压缩误差中恢复精细细节；(3) 1倍和2倍误差调控模式，确保严格遵守1倍用户输入误差界限，或放宽至2倍界限以获得更好的整体质量；(4) 跨场学习，利用科学数据中的场间相关性来改进传统方法。在代表性HPC数据集（例如Nyx、Miranda、Hurricane）上针对最先进压缩器的综合评估显示了NeurLZ的有效性。在最初五个学习周期内，NeurLZ实现了89%的比特率降低，进一步优化后在同等失真下可实现高达约94%的降低，显著优于现有方法，证明了NeurLZ作为一种可扩展且高效的解决方案在增强科学有损压缩方面的优越性能。
引用
@article{arxiv.2409.05785,
title = {NeurLZ: An Online Neural Learning-Based Method to Enhance Scientific Lossy Compression},
author = {Wenqi Jia and Zhewen Hu and Youyuan Liu and Boyuan Zhang and Jinzhen Wang and Jinyang Liu and Wei Niu and Stavros Kalafatis and Junzhou Huang and Sian Jin and Daoce Wang and Jiannan Tian and Miao Yin},
journal= {arXiv preprint arXiv:2409.05785},
year = {2025}
}
备注
ICS 2025