Logzip：通过迭代聚类提取隐藏结构以实现日志压缩
数据库
2019-10-02 v1 软件工程
摘要
系统日志记录软件系统的详细运行时信息，并作为围绕软件工程的诸多任务的主要数据源。随着现代软件系统演进为大规模复杂结构，日志已成为工业中一类快速增长的大数据。特别是，此类日志在实践中常需长期存储（例如一年），以分析反复出现的问题或追踪安全问题。然而，归档日志消耗大量存储空间与计算资源，进而带来高运维成本。数据压缩对降低日志存储成本至关重要。传统压缩工具（如 gzip）对通用文本效果良好，但不针对系统日志。本文中，我们提出一种新颖且有效的日志压缩方法，即 logzip。Logzip 能够通过快速迭代聚类从原始日志中提取隐藏结构，并进一步生成连贯的中间表示，从而实现更有效的压缩。我们在五种不同系统类型的大型日志数据集上评估 logzip，总大小为 63.6 GB。结果表明，logzip 相比传统压缩工具平均节省约一半存储空间。同时，logzip 的设计高度并行且仅引入可忽略的开销。此外，我们分享了将 logzip 应用于华为实际产品的工业经验。
引用
@article{arxiv.1910.00409,
title = {Logzip: Extracting Hidden Structures via Iterative Clustering for Log Compression},
author = {Jinyang Liu and Jieming Zhu and Shilin He and Pinjia He and Zibin Zheng and Michael R. Lyu},
journal= {arXiv preprint arXiv:1910.00409},
year = {2019}
}
备注
This paper is accepted in the 34th IEEE/ACM International Conference on Automated Software Engineering (ASE 2019)