释放数字的力量：基于数值标记解析的日志压缩

基于解析器的日志压缩器近年来被广泛探索，因为日志量的爆炸式增长使得通用压缩器的压缩性能不理想。这些基于解析器的压缩器通过根据解析结果对日志进行分组来预处理日志，然后将预处理后的文件输入通用压缩器。然而，基于解析器的压缩器存在局限性。首先，解析和压缩的目标不一致，因此日志的固有特性未被充分利用。此外，基于解析器的压缩器的性能依赖于样本日志，因此非常不稳定。而且，基于解析器的压缩器通常需要较长的处理时间。为了解决这些局限性，我们提出了Denum，一种简单、通用的日志压缩器，具有高压缩比和高速率。核心洞察是日志中的大多数标记为数值标记（即纯数字、仅包含数字和特殊字符的标记以及数值变量），有效压缩它们对日志压缩至关重要。具体而言，Denum包含一个数值标记解析模块，该模块提取所有数值标记并应用针对性的处理方法（例如存储递增数字如时间戳的差值），以及一个字符串处理模块，该模块处理不含数字的剩余日志内容。两个模块的处理文件随后作为输入送入通用压缩器，输出最终的压缩结果。Denum在16个日志数据集上进行了评估，与基线相比实现了平均压缩比提升8.7%至434.7%，平均压缩速度提升2.6倍至37.7倍（即26.2MB/S）。此外，将Denum的数值标记解析集成到现有日志压缩器中，可使其平均压缩比提升11.8%，平均压缩速度提升37%。