AMRIC：一种用于自适应网格加密应用中高效 I/O 的新型原位有损压缩框架
分布式、并行与集群计算
2023-07-20 v1
摘要
随着超级计算机向 exascale 能力迈进，计算强度显著增加，需存储与传输的数据量呈指数增长。自适应网格加密（AMR）已成为应对这两大挑战的有效方案。同时，误差有界有损压缩被公认为解决后一问题最高效的方法之一。尽管各自具备优势，但鲜有研究探讨 AMR 与误差有界有损压缩如何协同工作。为此，本研究提出一种新颖的原位有损压缩框架，其采用 HDF5 过滤器以改善 AMR 应用的 I/O 开销并提升压缩质量。我们将该方案实现于 AMReX 框架，并在 Summit 超级计算机上基于两个真实世界 AMR 应用 Nyx 与 WarpX 进行评估。使用 4096 个 CPU 核的实验表明，相较 AMReX 原有压缩方案，AMRIC 将压缩比提升至多 81 倍，I/O 性能提升至多 39 倍。
引用
@article{arxiv.2307.09609,
title = {AMRIC: A Novel In Situ Lossy Compression Framework for Efficient I/O in Adaptive Mesh Refinement Applications},
author = {Daoce Wang and Jesus Pulido and Pascal Grosset and Jiannan Tian and Sian Jin and Houjun Tang and Jean Sexton and Sheng Di and Zarija Lukić and Kai Zhao and Bo Fang and Franck Cappello and James Ahrens and Dingwen Tao},
journal= {arXiv preprint arXiv:2307.09609},
year = {2023}
}
备注
12 pages, 18 figures, 3 tables, accepted by ACM/IEEE SC '23