针对N体模拟的单快照有损压缩技术的深入探究
分布式、并行与集群计算
2017-11-13 v1
摘要
原位有损压缩允许用户在可控数据丢失的前提下显著减轻I/O负担。对于每次只能压缩一个快照的大规模N体模拟，由于粒子数据的空间相干性相当低，有损压缩比非常有限。在本工作中，我们评估了两种常见N体模拟模型（宇宙学与分子动力学）的最先进单快照有损压缩技术。我们基于两个具有代表性的真实世界N体模拟代码设计了一系列新颖的优化技术。对于分子动力学模拟，我们提出了三种压缩模式（即最佳速度、最佳权衡、最佳压缩模式），可优化压缩率（亦称速度/吞吐量）与压缩比之间的权衡。对于宇宙学模拟，我们确认改进的SZ在压缩比和压缩率两方面均为最佳有损压缩器。其压缩比较次优压缩器高出11%，且压缩率相当。在Argonne的Blues超级计算机上利用多达1024核的实验表明，与直接写入并行文件系统相比，我们提出的有损压缩方法可减少80%的I/O时间，并比次优方案快60%。此外，与最先进压缩器相比，我们提出的有损压缩方法在测试的N体模拟数据上以合理的压缩误差实现了最佳率失真。
引用
@article{arxiv.1711.03888,
title = {In-Depth Exploration of Single-Snapshot Lossy Compression Techniques for N-Body Simulations},
author = {Dingwen Tao and Sheng Di and Zizhong Chen and Franck Cappello},
journal= {arXiv preprint arXiv:1711.03888},
year = {2017}
}
备注
Accepted by IEEE BigData 2017