Lumos：一个用于诊断 Web 规模应用中指标回归的库
计算机与社会
2020-06-25 v1 人工智能
社会与信息网络
摘要
Web 规模应用可按日或按周节奏发布代码。这些应用依赖在线指标监控新版本的健壮性。指标值回归需尽早检测与诊断，以减少对用户和产品负责人的干扰。指标回归可由多种原因引发：真实产品回归、用户群体变化，以及因遥测丢失（或处理）导致的偏差均为常见成因。对工程团队而言，诊断这些指标回归的成因成本高昂，因其需尽快投入时间查找问题根因。我们提出 Lumos，一个基于 AB 测试原理构建的 Python 库，可系统化诊断指标回归并实现此类分析自动化。Lumos 已部署于微软实时通信应用 Skype 与 Microsoft Teams 的组件团队中，使工程团队能检测数百项指标真实变动，并剔除异常检测器发现的数千项误报。Lumos 的应用释放了多达 95% 分配给基于指标调查的时间。本文中，我们开源 Lumos 并展示其应用于 RTC 组内两个不同组件、覆盖数百万会话的结果。该通用库可与任意生产系统结合，高效管理告警量。
引用
@article{arxiv.2006.12793,
title = {Lumos: A Library for Diagnosing Metric Regressions in Web-Scale Applications},
author = {Jamie Pool and Ebrahim Beyrami and Vishak Gopal and Ashkan Aazami and Jayant Gupchup and Jeff Rowland and Binlong Li and Pritesh Kanani and Ross Cutler and Johannes Gehrke},
journal= {arXiv preprint arXiv:2006.12793},
year = {2020}
}