在线服务中非结构化日志的摘要生成
软件工程
2020-12-17 v1 网络与互联网体系结构
摘要
日志是管理大规模在线服务最有价值的数据源之一。在故障被检测/诊断/预测后，运维人员仍须检查原始日志以获得摘要视图再采取行动。然而，人工或基于规则的日志摘要已变得低效且效果不佳。在本工作中，我们提出 LogSummary，一种面向在线服务的自动化、无监督端到端日志摘要框架。LogSummary 针对给定日志序列获取重要日志的摘要三元组。它集成一种兼顾语义信息与领域知识的新型信息抽取方法，以及一种利用从所有日志中学到的全局知识的三元组排序新方法。鉴于缺乏公开可用的日志摘要黄金标准，我们手动标注了四个开源日志数据集的摘要并公开。在这些数据集上的评估以及对真实世界日志的案例研究表明，LogSummary 生成的摘要具有高度代表性（平均 ROUGE F1 分数 0.741）。我们已将 LogSummary 打包为开源工具包，希望它能惠及未来由 NLP 驱动的摘要工作。
引用
@article{arxiv.2012.08938,
title = {Summarizing Unstructured Logs in Online Services},
author = {Weibin Meng and Federico Zaiter and Yuheng Huang and Ying Liu and Shenglin Zhang and Yuzhe Zhang and Yichen Zhu and Tianke Zhang and En Wang and Zuomin Ren and Feng Wang and Shimin Tao and Dan Pei},
journal= {arXiv preprint arXiv:2012.08938},
year = {2020}
}