自适应数据飞轮：将 MAPE 控制环路应用于 AI 智能体改进
人工智能
2025-11-03 v1 机器学习
摘要
企业级 AI 智能体必须持续适应，以保持准确性、降低延迟并与用户需求保持一致。我们在 NVIDIA 信息 AI 中实现了一个数据飞轮，这是 NVIDIA 的 Mixture-of-Experts (MoE) 知识助理，已为 3 万余名员工提供服务。通过将 MAPE 驱动的数据飞轮落地，我们构建了一个闭环系统，系统性地解决检索增强生成 (RAG) 管道中的故障，并实现持续学习。在部署后 3 个月期间，我们监控反馈，收集了 495 条负面样本。分析发现两个主要故障模式：路由错误占 5.25%，查询重述错误占 3.2%。使用 NVIDIA NeMo 微服务，我们通过微调实现了针对性改进。对于路由问题，我们将 Llama 3.1 70B 模型替换为微调后的 8B 变体，实现 96% 的准确率，模型规模降低 10 倍，延迟降低 70%。对于查询重述，微调后准确率提升 3.7%，延迟降低 40%。本方法展示了当人类在环反馈被结构化于数据飞轮中时，如何将企业级 AI 智能体转化为自我改进系统的关键要点包括：确保在用户反馈有限的情况下智能体的鲁棒性、规避隐私限制、以及在生产环境中执行分阶段发布。本工作为构建能够在规模化实际使用场景中从真实世界用例中学习的稳健、自适应企业级 AI 智能体提供了可复现的蓝图。
引用
@article{arxiv.2510.27051,
title = {Adaptive Data Flywheel: Applying MAPE Control Loops to AI Agent Improvement},
author = {Aaditya Shukla and Sidney Knowles and Meenakshi Madugula and Dave Farris and Ryan Angilly and Santiago Pombo and Anbang Xu and Lu An and Abhinav Balasubramanian and Tan Yu and Jiaxiang Ren and Rama Akkiraju},
journal= {arXiv preprint arXiv:2510.27051},
year = {2025}
}
备注
20 pages, 5 figures, 5 tables. Presents MAPE-K control loop application to enterprise AI agent improvement with experimental validation on NVIDIA's NVInfo AI system