HeRo：面向异构移动SoC的自适应代理RAG编排
分布式、并行与集群计算
2026-03-03 v1
摘要
随着移动设备计算能力的提升，将代理式检索增强生成(RAG)部署在异构系统芯片(SoC)上的本地化已成为提升基于大语言模型(LLM)应用的潜在途径。然而，代理式RAG引发多阶段工作流程，包含异构模型和动态执行流程，而移动SoC exhibits强加速器亲和性、形状敏感性和共享内存带宽争用，使简单的调度器效果不佳。我们提出HeRo，一个面向移动SoC的异构感知代理RAG框架。HeRo为每个子阶段和模型-PU配置构建基于剖析的性能模型，捕获延迟、工作负载形状和争用引起的减缓，并在轻量级在线调度器中利用这些模型，结合形状感知子阶段分区、关键性加速器映射和带宽感知并发控制。实验在商业移动设备上表明，HeRo相对于现有部署策略可实现端到延迟降低最高达 ，使实际的设备上代理RAG成为可能。
引用
@article{arxiv.2603.01661,
title = {HeRo: Adaptive Orchestration of Agentic RAG on Heterogeneous Mobile SoC},
author = {Maoliang Li and Jiayu Chen and Zihao Zheng and Ziqian Li and Xinhao Sun and Guojie Luo and Chenchen Liu and Xiang Chen},
journal= {arXiv preprint arXiv:2603.01661},
year = {2026}
}
备注
Will appear in DAC'2026