通过半监督学习加速系统日志处理：技术报告
软件工程
2018-11-06 v1 计算与语言
信息检索
摘要
对于大规模在线系统及时地进行更自动化的系统日志分析工具的需求日益增长。然而，基于关键词列表监控和分类日志输出的传统方式，对于由大量开发者贡献代码、以多样方式编码错误消息且常带误导性预设标签的复杂系统而言，扩展性不佳。在本文中，我们提出大规模在线日志分析的设计应遵循“最小先验知识原则”，其中对日志的最少先验知识应以无监督或半监督方案直接编码。据此，我们报告了设计一种两阶段基于机器学习方法的经验：该方法将系统日志视为准自然语言的输出，由困惑度分数阈值预过滤，然后经历细粒度分类过程。在经验数据上的测试表明，我们的方法在处理速度和分类精度方面具有明显优势。
引用
@article{arxiv.1811.01833,
title = {Accelerating System Log Processing by Semi-supervised Learning: A Technical Report},
author = {Guofu Li and Pengjia Zhu and Zhiyi Chen},
journal= {arXiv preprint arXiv:1811.01833},
year = {2018}
}