Hera：面向设备-云协作型长期程度LLM代理的学习
人工智能
2026-05-26 v1 多智能体系统
摘要
大型语言模型（LLM）代理在通过与环境的自主交互来解决复杂长期程度任务方面表现出色。然而，其实际部署面临一个根本性的设备-云困境：设备端模型高效但往往脆弱，而云端模型更强大但计算成本高昂。现有SOTA LLM 设备-云路由器通常做出粗糙的任务级决策，无法适应多步代理交互难度的变化。为此，我们提出Hera，一种用于长期程度任务的步骤级设备-云 LLM 代理协调器，实现了强性能-成本 Pareto 前沿。Hera采用一种新颖的两阶段训练范式：（1）模仿学习用于 cold-start，随后是（2）强化学习同时优化任务成功率和云端使用效率。第一阶段将步骤级路由作为监督分类问题：将设备代理在云端轨迹上进行回放，每个状态由设备和云端动作的一致性标签。第二阶段，我们对相同状态跨轨迹进行分组，并用标签优化（ favoring higher expected return and 更少的未来云端调用）来更新Hera。在ALFWorld、WebShop和AppWorld上进行评估，Hera持续地超越了先前方法，以云端成功率的92.5%实现了仅46.3%的步骤云端使用。
引用
@article{arxiv.2605.24598,
title = {Hera: Learning Long-Horizon Coordination for Device-Cloud Collaborative LLM Agents},
author = {Yuxin Zhang and Mengxue Hu and Zheng Lin and Xiaoyi Fan and Fan Xie and Zihan Fang and Jing Yang and Wenjun Zhu and Zhiwen Chen and Chengfei Lv and Zhe Chen},
journal= {arXiv preprint arXiv:2605.24598},
year = {2026}
}