CODA：用于双脑计算机使用代理的脑干与小脑协调框架 with 解耦强化学习
计算机视觉与模式识别
2025-08-28 v1 人工智能
机器学习
摘要
图形用户界面（GUI）的自主代理面临着诸多挑战，尤其是在需要长期规划和精确执行的科学计算领域。现有方法存在权衡问题：通用代理在规划方面表现出色，但在执行方面表现不佳；而专用代理则恰恰相反。近期的组合性框架试图通过结合规划器和执行器来弥合这一鸿沟，但这些框架通常是静态的且不可训练的，这限制了其从经验中学习的能力。这是一个关键局限，尤其是在科学领域稀缺的高质量数据面前。为此，我们提出了CODA框架——一种新型且可训练的组合框架，将通用规划器（脑干）与专用执行器（小脑）集成在一起，通过专门设计的两阶段训练管道实现。第一阶段，专化阶段，我们采用解耦的GRPO方法，对每个科学应用的专家规划器进行训练，利用少量任务轨迹进行引导。第二阶段，泛化阶段，我们聚合所有专家的成功轨迹，构建统一数据集，用于监督式微调最终的规划器。这使得CODA同时具备稳健的执行能力和跨域泛化能力。在来自ScienceBoard基准的四个具有挑战性的应用中进行评估，CODA显著优于基线方法，在开源模型中建立了新的学习状态。
引用
@article{arxiv.2508.20096,
title = {CODA: Coordinating the Cerebrum and Cerebellum for a Dual-Brain Computer Use Agent with Decoupled Reinforcement Learning},
author = {Zeyi Sun and Yuhang Cao and Jianze Liang and Qiushi Sun and Ziyu Liu and Zhixiong Zhang and Yuhang Zang and Xiaoyi Dong and Kai Chen and Dahua Lin and Jiaqi Wang},
journal= {arXiv preprint arXiv:2508.20096},
year = {2025}
}
备注
code available at this url: https://github.com/OpenIXCLab/CODA