面向生成式 AI 云服务的生产事件实证研究
分布式、并行与集群计算
2025-08-15 v2
摘要
日益增长的生成式人工智能（GenAI）需求，推动了如 Azure OpenAI Service 和 Amazon Bedrock 等基于云端的 GenAI 服务的发展。类似于任何大规模云服务，基于云端的 GenAI 服务必然会出现故障，导致用户不满和显著的经济损失。然而，与传统云服务相比，GenAI 云服务因其巨大的参数规模、硬件需求和使用模式，呈现出独特挑战，包括生成内容质量问题和隐私安全顾虑。为了解 GenAI 云服务的生产可靠性，我们分析了一位领先的 GenAI 云服务提供商过去四年期间的生产事件。我们的研究（1）呈现了 GenAI 云服务在不同事件生命周期阶段的一般特征；（2）识别了这些事件对 GenAI 云服务质量和可用性的症状和影响；（3）揭示了这些事件为何发生以及如何得到解决；（4）讨论了事件检测、分诊和缓解方面的开放性研究挑战，并为潜在解决方案提供了思路。
引用
@article{arxiv.2504.08865,
title = {An Empirical Study of Production Incidents in Generative AI Cloud Services},
author = {Haoran Yan and Yinfang Chen and Minghua Ma and Ming Wen and Shan Lu and Shenglin Zhang and Tianyin Xu and Rujia Wang and Chetan Bansal and Saravan Rajmohan and Qingwei Lin and Chaoyun Zhang and Dongmei Zhang},
journal= {arXiv preprint arXiv:2504.08865},
year = {2025}
}