参数空间中的技能扩张与组合
机器学习
2025-03-18 v2 人工智能
机器人学
摘要
人类在解决问题时擅长复用先前知识以应对新挑战，并在过程中发展技能。这种范式在自主智能体的开发中日益受到青睐，因为它能够开发出类似人类一样自我进化以应对新挑战的系统。然而，先前的方法在扩张新技能时存在训练效率有限，无法充分利用先前知识来促进新任务学习。本文提出参数技能扩张与组合 (PSEC)，一种新的框架旨在通过维持可管理的技能库，迭代演化智能体的能力并高效应对新挑战。该库可以逐步整合作为即插即用低秩适应 (LoRA) 模块的参数高效微调，从而促进技能的高效和灵活扩张。这种结构还允许通过合并编码不同技能的 LoRA 模块，在参数空间中直接进行技能组合，利用技能之间的共享信息来有效编程新技能。基于此，我们提出了一个感知模块，用于动态激活不同技能以协同处理新任务。该方法支持包括多目标组合、动态转移和持续策略转移在内的多样化应用。D4RL、DSRL 数据集以及 DeepMind 控制套件上的结果表明，PSEC 在利用先前知识高效应对新挑战方面具有优势，能够扩展技能库以演化能力。项目网址：https://ltlhuuu.github.io/PSEC/。
引用
@article{arxiv.2502.05932,
title = {Skill Expansion and Composition in Parameter Space},
author = {Tenglong Liu and Jianxiong Li and Yinan Zheng and Haoyi Niu and Yixing Lan and Xin Xu and Xianyuan Zhan},
journal= {arXiv preprint arXiv:2502.05932},
year = {2025}
}
备注
ICLR 2025, 37 pages