复杂 IT 系统中日志分析的分层架构

在不断发展的 IT 领域，系统的稳定性和可靠性至关重要，但其日益增长的复杂性给 DevOps 团队在实施和维护方面带来了挑战。日志分析作为 AIOps 的核心要素，为复杂行为和故障提供了关键洞察。本论文提出了一种三层架构以支持 DevOps 进行故障定位。第一层，日志调查，执行自主日志标注和异常分类。我们提出了一种无需人工干预即可标注日志数据的方法，支持监督训练和精确的异常检测评估。此外，我们定义了一种将异常分为三类的分类法，确保选择合适的方法。第二层，异常检测，检测偏离正常的行为。我们提出了一种灵活的异常检测方法，可适配无监督、弱监督和监督训练。在公开和行业数据集上的评估显示 F1 分数介于 0.98 和 1.0 之间，确保了可靠的异常检测。第三层，根因分析，识别描述故障的最小日志集、其来源和事件序列。通过平衡训练数据和识别关键服务，我们的根因分析方法始终在排名前 10 的候选中检测到 90-98% 的根因日志行，为缓解措施提供了可操作的洞察。本研究探讨了日志分析方法如何设计和优化以帮助 DevOps 高效解决故障。通过整合这三层，该架构为团队提供了增强 IT 系统可靠性的强大方法。