SDRBench：面向有损压缩器的科学数据缩减基准
分布式、并行与集群计算
2021-11-04 v1
摘要
由于当今大规模科学应用产生的数据量不断增长，高效的误差可控有损压缩器对这类应用的成功变得至关重要。在过去十年中，针对截然不同的科学领域中不同的科学数据集，许多无损和有损压缩器基于不同的设计原则被开发出来。为了支持研究人员和用户以公平便捷的方式评估和比较压缩器，我们建立了一个标准压缩评估基准——科学数据缩减基准(Scientific Data Reduction Benchmark, SDRBench)。SDRBench包含跨不同领域的海量真实世界科学数据集，总结了若干关键的压缩质量评估指标，并集成了许多最先进的有损和无损压缩器。我们利用SDRBench展示了评估结果，并总结了六条有助于深入理解有损压缩器的宝贵启示。
引用
@article{arxiv.2101.03201,
title = {SDRBench: Scientific Data Reduction Benchmark for Lossy Compressors},
author = {Kai Zhao and Sheng Di and Xin Liang and Sihuan Li and Dingwen Tao and Julie Bessac and Zizhong Chen and Franck Cappello},
journal= {arXiv preprint arXiv:2101.03201},
year = {2021}
}
备注
Published in Proceedings of the 1st International Workshop on Big Data Reduction @BigData'20