$E^3$-Agent: 用于边缘生成式推理资源管理的可执行与演化智能体
机器学习
2026-05-28 v1
摘要
生成式推理的边缘部署日益面临两个实际现实：每设备每模型的性能在部署时通常是未知的，并且由于用户驱动的语义事件、后台负载和设备更替，这种性能是非平稳的。因此，在固定机制下离线调优的资源管理器可能变得脆弱且维护成本高昂。本文提出了-Agent，一个用于边缘人工智能生成内容(AIGC)资源管理的可执行与演化智能体。-Agent将一条做出毫秒级调度决策的快速路径路由器与一条慢速路径、事件驱动的大语言模型(LLM)元控制器分离，后者通过一个经由工具接口暴露的小型显式控制面（包括风险门控、路由器配置和快速性能校准）来缓解机制转变。该智能体从执行反馈中在线学习，并持续适应未知且时变的服务时间映射。我们在一个由MLPerf衍生的设备-模型测量先验驱动的离散事件模拟器中评估了-Agent，涵盖了冷启动预热和三种动态机制：语义动态、设备更替和隐藏漂移。在各种动态场景中，与最佳静态基线相比，-Agent将平均延迟降低了65%-73%，与用于评估的在线全信息Oracle相比保持在7%-10%以内，并在语义退化下有效抑制了卡顿率。
引用
@article{arxiv.2605.27428,
title = {$E^3$-Agent: An Executable and Evolving Agent for Resource Management of Edge Generative Inference},
author = {Rui Bao and Yaping Sun and Zhiyong Chen and Feng Yang and Meixia Tao and Nan Li and Wenjun Zhang},
journal= {arXiv preprint arXiv:2605.27428},
year = {2026}
}
备注
13 pages, 4 figures, 6 tables