面向复杂数据产品的自动化根因分析系统
软件工程
2024-12-23 v1 人工智能
摘要
我们提出了 ARCAS（自动化根因分析系统），这是一个基于领域特定语言（DSL）构建的诊断平台，旨在实现快速诊断实施和低学习曲线。ARCAS 由一系列可并行执行以利用产品遥测检测问题并近实时应用缓解措施的自动故障排除指南组成。该 DSL 经过专门定制，以确保主题专家能够在短时间内交付高度精选且相关的 Auto-TSG，而无需了解它们将如何与诊断平台的其余部分交互，从而在最关键的时刻缩短缓解时间并节省关键的工程周期。这与 Datadog 和 New Relic 等主要专注于监控且需要人工干预以实施缓解的平台形成对比。ARCAS 使用大型语言模型（LLM）来确定 Auto-TSG 输出的优先级并采取适当的行动，从而抑制了理解系统一般行为的昂贵需求。我们解释了 ARCAS 背后的关键概念，并展示了它如何成功用于 Azure Synapse Analytics 和 Microsoft Fabric Synapse Data Warehouse 中的多个产品。
引用
@article{arxiv.2412.15374,
title = {Automated Root Cause Analysis System for Complex Data Products},
author = {Mathieu Demarne and Miso Cilimdzic and Tom Falkowski and Timothy Johnson and Jim Gramling and Wei Kuang and Hoobie Hou and Amjad Aryan and Gayatri Subramaniam and Kenny Lee and Manuel Mejia and Lisa Liu and Divya Vermareddy},
journal= {arXiv preprint arXiv:2412.15374},
year = {2024}
}
备注
13 pages, 6 figures