探索基于混合低秩适配器的异构数据训练
计算机视觉与模式识别
2024-06-17 v1
摘要
统一模型训练以处理多个目标是通往人工通用智能的趋势之一。然而，如何有效缓解来自不同领域或任务的异构数据训练冲突仍未充分探讨。本研究探索利用混合低秩适配器 (Mixture of Low-rank Adapters, MoLA) 来缓解异构数据训练中的冲突，该方法需要联合训练多个低秩适配器及其共享的背板。具体而言，我们引入两种MoLA变体，即MoLA-Grad和MoLA-Router，分别用于推理过程中的目标感知和目标非感知场景。前者使用任务标识符为每个任务分配定制化的低秩适配器， disentangling task-specific knowledge towards their adapters, thereby mitigating heterogeneity conflicts。后者引入一种新颖的任务相关性消除 (Task-wise Decorrelation, TwD) 损失，以干扰路由器学习适用于同构任务的适配器权重组合，从而达到类似效果。我们进行了全面的实验来验证MoLA优于以往最先进方法的优越性，并深入分析其工作机制。源码可在 https://github.com/MediaBrain-SJTU/MoLA 获取。
引用
@article{arxiv.2406.09679,
title = {Exploring Training on Heterogeneous Data with Mixture of Low-rank Adapters},
author = {Yuhang Zhou and Zihua Zhao and Haolin Li and Siyuan Du and Jiangchao Yao and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2406.09679},
year = {2024}
}
备注
ICML2024