面向联邦持续学习的参数高效模块的闭形式合并
机器学习
2025-03-11 v2 人工智能
摘要
模型合并已成为深度学习中的关键技术，使能够在保持性能和可扩展性的同时，将多个模型集成为统一系统。就此而言，低秩适应技术（如 LoRA）的组合属性已被证明有益，因为对LoRA模块进行简单平均可产生单一模型，主要整合所有单个模块的能力。基于LoRA，我们进一步施加要求，即合并后的模型必须匹配所有已学习模块的响应。以闭形式求解此目标后得到一个不定方程组，其中A和B为未知变量，表明存在无限多个闭形式解。为解决这一挑战，我们引入LoRM，一种交替优化策略，逐个训练一个LoRA矩阵。这使得可以逐个求解每个未知变量，从而找到唯一解。我们将所提出的方法应用于联邦类递增学习（FCIL），确保模型响应在客户机之间以及跨任务之间对齐。我们的方法在各种FCIL情景下均显示出最先进的性能。用于复现我们实验的代码可在 github.com/aimagelab/fed-mammoth 上获得。
引用
@article{arxiv.2410.17961,
title = {Closed-form merging of parameter-efficient modules for Federated Continual Learning},
author = {Riccardo Salami and Pietro Buzzega and Matteo Mosconi and Jacopo Bonato and Luigi Sabetta and Simone Calderara},
journal= {arXiv preprint arXiv:2410.17961},
year = {2025}
}