面向流式浮点时间序列的基于擦除的无损压缩方法
数据结构与算法
2023-06-29 v1
摘要
以空前高速率产生的浮点时间序列数据数量极为庞大。高效、紧凑且无损的时间序列数据压缩对于广泛场景至关重要。现有大多数无损浮点压缩方法基于 XOR 运算，但未能充分利用尾随零，通常导致压缩比不尽如人意。本文提出一种基于擦除的无损浮点压缩算法，即 Elf。Elf 的核心思想是将浮点数值的最后若干位（即置为零）擦除，从而使 XOR 后的值包含大量尾随零。基于擦除的方法面临三重挑战：其一，如何快速确定被擦除的位？其二，如何从擦除后的数据无损恢复原始数据？其三，如何紧凑编码擦除后的数据？通过严谨的数学分析，Elf 可直接确定擦除位并无精度损失地还原原始值。为进一步提升压缩比，我们提出一种针对含大量尾随零的 XOR 值的新颖编码策略。此外，观察到时间序列中的数值通常具有相似的有效数位计数，我们通过优化有效数位计数编码策略提出 Elf 的升级版 Elf+，进一步提高了压缩比并减少了运行时间。Elf 与 Elf+ 均以流式方式工作，时间复杂度为 O(N)（N 为时间序列长度），空间复杂度为 O(1)，并在理论保证下实现了显著的压缩比。使用 22 个数据集的广泛实验表明，相较于 9 种先进对手方法，Elf 与 Elf+ 在双精度与单精度浮点值上均展现出强劲性能。
引用
@article{arxiv.2306.16053,
title = {Erasing-based lossless compression method for streaming floating-point time series},
author = {Ruiyuan Li and Zheng Li and Yi Wu and Chao Chen and Songtao Guo and Ming Zhang and Yu Zheng},
journal= {arXiv preprint arXiv:2306.16053},
year = {2023}
}