中文

当AIOps变为“AI Oops”:通过遥测操纵颠覆LLM驱动的IT运营

密码学与安全 2025-08-28 v2

摘要

AI for IT Operations(AIOps)正在通过自动化异常检测、事件诊断和修复,改变组织管理复杂软件系统的方式。现代AIOps解决方案日益依赖于基于大语言模型的自主智能体来解释遥测数据并采取最小人工干预的纠正措施,承诺实现更快的响应速度和运营成本节省。本文对AIOps解决方案进行首次安全性分析,揭示AI驱动的自动化再次带来深远的安全代价。我们展示了对手如何操纵系统遥测,误导AIOps智能体采取损害其所管理基础设施完整性的行动。我们引入技术,通过注入影响智能体行为的错误诱导请求实现可靠的遥测数据注入;通过一种形式的对抗性奖励黑客,引导智能体决策的“看似正确但实际错误”的系统错误解释。我们的攻击方法AIOpsDoom是全自动的——结合探测、模糊测试和LLM驱动的对抗性输入生成——且无需对目标系统的任何先验知识。为对抗此威胁,我们提出AIOpsShield,通过利用遥测数据的结构特性以及用户生成内容作用有限这一事实,对遥测数据进行消毒。我们的实验表明,AIOpsShield可靠地阻止基于遥测的攻击,而不影响正常的智能体性能。最终,本工作将AIOps公开为系统 compromise 的新型攻击向量,凸显面向AIOps设计的紧迫安全需求。

关键词

引用

@article{arxiv.2508.06394,
  title  = {When AIOps Become "AI Oops": Subverting LLM-driven IT Operations via Telemetry Manipulation},
  author = {Dario Pasquini and Evgenios M. Kornaropoulos and Giuseppe Ateniese and Omer Akgul and Athanasios Theocharis and Petros Efstathopoulos},
  journal= {arXiv preprint arXiv:2508.06394},
  year   = {2025}
}

备注

v0.2