ARM：面向训练免费通用LLM代理合并的基于角色的神经元移植
人工智能
2026-01-13 v1 机器学习
摘要
交互式大语言模型代理发展迅速，但大多数仍仅针对单个环境进行专业化，难以适应其他环境。在模型合并方面，训练免费的方法通过整合多个专家到单个模型中实现集成。本文提出了Agent-Role Merging（ARM），一种基于激活引导的角色条件神经元移植方法，用于LLM代理的模型合并。ARM从静态自然语言任务扩展到多轮代理场景，提升跨各种交互环境的泛化能力。这一目标通过一个精心设计的三步框架实现：1）构建合并主干网络，2）基于其角色条件激活分析进行选择，3）进行神经元移植以进行细粒度优化。在无梯度优化的情况下，ARM在跨基准测试的泛化能力方面取得显著提升，同时保持高效。跨多个领域，ARM合并获得的模型在性能上优于先前的模型合并方法和领域特定专家模型，同时展现出强大的跨域泛化能力。
引用
@article{arxiv.2601.07309,
title = {ARM: Role-Conditioned Neuron Transplantation for Training-Free Generalist LLM Agent Merging},
author = {Zhuoka Feng and Kang Chen and Sihan Zhao and Kai Xiong and Yaoning Wang and Minshen Yu and Junjie Nian and Changyi Xiao and Yixin Cao and Yugang Jiang},
journal= {arXiv preprint arXiv:2601.07309},
year = {2026}
}
备注
17 pages, 12 figures. Project page: https://arkazhuo.github.io/ARM-homepage/