抗 SDC 的误差有界有损压缩器
分布式、并行与集群计算
2020-10-08 v1
摘要
有损压缩是解决大科学数据问题最重要的策略之一，然而使其对静默数据损坏（SDC）具备弹性的工作却很少。事实上，由于对产生海量数据的复杂科学模拟的百亿亿次计算需求，或在某些需要在易错环境中传输大量数据的特定仪器/设备（如行星际空间探测器）中，SDC 正变得不可忽视。本文中，我们在 SZ 压缩框架上提出一种抗 SDC 的误差有界有损压缩器。具体而言，我们采用一种新的独立分块模型，将整个数据集分解为许多独立的子块进行压缩。然后，我们基于 SZ 设计并实现了一系列错误检测/纠正策略。我们首次将基于算法的容错（ABFT）扩展到有损压缩。所提方案在无软错误时带来可忽略的执行开销。在软错误下，它保持解压数据的正确性仍被限定在用户要求范围内，且压缩比仅有非常有限的下降。
引用
@article{arxiv.2010.03144,
title = {SDC Resilient Error-bounded Lossy Compressor},
author = {Sihuan Li and Sheng Di and Kai Zhao and Xin Liang and Zizhong Chen and Franck Cappello},
journal= {arXiv preprint arXiv:2010.03144},
year = {2020}
}