Sprintz：面向物联网的时间序列压缩
性能
2018-08-09 v1
摘要
得益于连接设备的迅速普及，传感器生成的时间序列构成了世界数据中庞大且不断增长的一部分。通常，这些数据从分布式、资源受限的设备收集并集中到一个或多个服务器。该设置中的一个关键挑战是在不牺牲数据质量的前提下减小传输数据的大小。较低的质量会降低数据的效用，但更小的尺寸既能减少服务器的网络和存储成本，也能降低传感设备的功耗。一个自然的解决方案是在传感设备端压缩数据。遗憾的是，现有压缩算法要么违反了这些设备常见的内存和延迟约束，要么（如我们通过实验所示）在传感器生成的时间序列上表现不佳。我们引入了一种时间序列压缩算法，在需要小于1KB内存且几乎不增加延迟的同时，实现了最先进的压缩比。该方法不仅适用于收集数据的低功耗设备，也适用于存储和查询数据的服务器；在后一种情况下，它可在单线程中以超过3GB/s的速度解压，甚至快于许多压缩比低得多的算法。我们方法的一个关键组件是一种可在线训练且显著优于delta编码等替代方案的高速预测算法。在来自多个领域的数据集上的大量实验表明，这些结果不仅适用于传感器数据，也适用于广泛的其他时间序列。
引用
@article{arxiv.1808.02515,
title = {Sprintz: Time Series Compression for the Internet of Things},
author = {Davis Blalock and Samuel Madden and John Guttag},
journal= {arXiv preprint arXiv:1808.02515},
year = {2018}
}