构建企业系统性能异常识别数据管线的挑战与解决方案
机器学习
2021-12-17 v1
摘要
我们探讨了 VMware 如何通过解决以下挑战来利用数据，以运行我们基于 ML 的异常检测系统，从而检测软件定义数据中心（SDDC）企业部署中的性能问题： 标签稀缺与标签偏差，这源于对不可扩展的人工标注者的严重依赖； 数据漂移，这由不断变化的工作负载模式、软件栈和底层硬件引起。我们的异常检测系统已在生产环境中部署多年，并成功检测出众多重大性能问题。我们证明，通过应对这些数据挑战，我们不仅将性能异常检测模型的准确率提高了 30%，还确保模型性能随时间推移不会下降。
引用
@article{arxiv.2112.08940,
title = {Challenges and Solutions to Build a Data Pipeline to Identify Anomalies in Enterprise System Performance},
author = {Xiaobo Huang and Amitabha Banerjee and Chien-Chia Chen and Chengzhi Huang and Tzu Yi Chuang and Abhishek Srivastava and Razvan Cheveresan},
journal= {arXiv preprint arXiv:2112.08940},
year = {2021}
}