SRN-SZ:基于超分辨率神经网络的科学误差有界有损压缩
机器学习
2023-11-08 v3 分布式、并行与集群计算
信息论
math.IT
摘要
现代超级计算系统计算能力的快速增长与规模扩张给科学数据管理带来了巨大挑战。为保持科学数据的可用性,误差有界有损压缩被提出并发展为在约束数据失真下缩减科学数据规模的关键技术。在各类科学模拟生成的多样数据集中,某些数据集无法被采用传统技术的现有误差有界有损压缩器有效压缩。人工智能近期的成功启发了若干研究者将神经网络集成到误差有界有损压缩器中。然而,这些工作仍受限于较低的压缩比和/或极低的效率。为解决这些问题并改进对难压缩数据集的压缩,本文提出 SRN-SZ,一种基于深度学习的科学误差有界有损压缩器,利用由超分辨率神经网络实现的分层数据网格扩展范式。SRN-SZ 采用最先进的超分辨率网络 HAT 进行压缩,其无需耗时的逐数据训练。在实验中与多种最先进压缩器相比,SRN-SZ 在相同误差界下压缩比提升高达 75%,在相同 PSNR 下比次优压缩器压缩比提升高达 80%。
引用
@article{arxiv.2309.04037,
title = {SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks},
author = {Jinyang Liu and Sheng Di and Sian Jin and Kai Zhao and Xin Liang and Zizhong Chen and Franck Cappello},
journal= {arXiv preprint arXiv:2309.04037},
year = {2023}
}