评估与总结：利用大语言模型改进停机理解
软件工程
2023-05-30 v1
摘要
近年来，由于其灵活性和可扩展性，云系统变得越来越流行。每次托管在云上的云计算应用和服务受到云停机影响时，用户都会经历响应缓慢、连接问题或完全服务中断，从而造成显著的负面业务影响。停机通常由若干并发事件/根源原因组成，因此理解停机背景是缓解和解决停机非常具有挑战性却至关重要的第一步。在当前实践中，具备深入领域知识的待命工程师不得不在停机发生时手动评估和总结停机，这既耗时又费力。在本文中，我们首先提出了一项大规模实证研究，调查微软待命工程师当前处理云停机的方式，然后提出并通过实证验证了一种新方法（称为 Oasis）以协助工程师完成该任务。Oasis 能够自动评估停机的影响范围并生成人类可读的总结。具体而言，Oasis 首先通过多种技术聚合相关事件来评估停机的影响范围，然后利用像 GPT-3.x 这样的微调大语言模型生成人类可读的总结。Oasis 的影响评估组件三年前已在微软引入，现已被广泛采用，而停机总结组件是最近引入的，本文中我们展示了在 18 个真实云系统上进行的实证评估结果以及与停机负责人的基于人工的评估。结果表明，Oasis 能够高效且有效地总结停机，并促使微软部署了其首个原型，目前正由部分事件团队进行实验性采用。
引用
@article{arxiv.2305.18084,
title = {Assess and Summarize: Improve Outage Understanding with Large Language Models},
author = {Pengxiang Jin and Shenglin Zhang and Minghua Ma and Haozhe Li and Yu Kang and Liqun Li and Yudong Liu and Bo Qiao and Chaoyun Zhang and Pu Zhao and Shilin He and Federica Sarro and Yingnong Dang and Saravan Rajmohan and Qingwei Lin and Dongmei Zhang},
journal= {arXiv preprint arXiv:2305.18084},
year = {2023}
}