LogShrink：利用日志数据的共性与差异性实现高效日志压缩
软件工程
2023-09-19 v1
摘要
日志数据是记录系统执行期间系统事件与状态的关键资源。然而，随着系统规模增长，日志数据生成日益爆炸式增长，导致日志存储开销昂贵，例如生产环境中每日数拍字节。为解决此问题，日志压缩已成为在减少磁盘存储的同时支持进一步日志分析的关键任务。遗憾的是，现有通用与日志专用压缩方法在利用日志数据特征方面能力有限。为克服这些局限，我们开展实证研究，获得关于可促进日志压缩任务的日志数据特征的三项主要观察。基于这些观察，我们提出LogShrink，一种利用日志数据共性与差异性的新颖高效日志压缩方法。提出基于最长公共子序列与熵技术的分析器，以识别日志消息中潜在的共性与差异性。其背后关键思想是，共性与差异性可被利用以更短表示压缩日志数据。此外，引入基于聚类的序列采样器以加速共性与差异性分析器。广泛实验结果表明，LogShrink在压缩比上平均超越基线16%至356%，同时保持合理压缩速度。
引用
@article{arxiv.2309.09479,
title = {LogShrink: Effective Log Compression by Leveraging Commonality and Variability of Log Data},
author = {Xiaoyun Li and Hongyu Zhang and Van-Hoang Le and Pengfei Chen},
journal= {arXiv preprint arXiv:2309.09479},
year = {2023}
}
备注
Accepted by ICSE 2024 Research Track