LogLSHD：利用局部敏感哈希与动态时间规整的快速日志解析
软件工程
2025-04-04 v1
摘要
大规模软件系统生成海量的系统日志，这对于监控、诊断和性能优化至关重要。然而，这些日志的非结构化特性和不断增长的规模给手动分析和异常检测等自动化下游任务带来了重大挑战。日志解析通过将原始日志转换为结构化格式来解决这些挑战，从而实现高效的日志分析。尽管日志解析很重要，但由于日志数据量庞大且格式异构，现有的日志解析方法在效率和可扩展性方面存在局限。为了克服这些挑战，本研究提出了一种日志解析方法 LogLSHD，它利用局部敏感哈希（LSH）对相似日志进行分组，并集成动态时间规整（DTW）以提高模板提取的准确性。LogLSHD 在解析时间上展现出卓越的效率，显著优于 SOTA 方法。例如，与 Drain 相比，LogLSHD 在 LogHub 2.0 基准上将平均解析时间减少了 73%，同时将平均解析准确率提高了 15%。
引用
@article{arxiv.2504.02172,
title = {LogLSHD: Fast Log Parsing with Locality-Sensitive Hashing and Dynamic Time Warping},
author = {Shu-Wei Huang and Xingfang Wu and Heng Li},
journal= {arXiv preprint arXiv:2504.02172},
year = {2025}
}
备注
Accepted for the 21st International Conference on Predictive Models and Data Analytics in Software Engineering (PROMISE 2025)