基于对称传送的持续优化用于多任务学习
机器学习
2025-03-07 v1 人工智能
摘要
多任务学习（MTL）是一种广泛探索的范式，它使单个模型能够同时学习多个任务。尽管已有众多解决方案，但优化冲突和任务不平衡这两个关键问题仍未得到充分解决，从而限制了性能。与现有的通常通过重新加权任务损失或梯度来缓解冲突或促进进展的基于优化的方法不同，我们提出了一种基于持续优化与对称传送（COST）的新方法。在 MTL 优化过程中，当出现优化冲突时，我们在损失景观上寻找一个损失等价点以减少冲突。具体而言，我们利用低秩适配器（LoRA）来促进这种实际的传送，通过设计收敛的、与损失无关的目标。此外，我们引入了一种历史轨迹复用策略，以持续利用先进优化器的优势。在多个主流数据集上的大量实验证明了该方法的有效性。COST 即插即用，能够增强广泛的现有 MTL 方法。与最先进方法集成后，COST 取得了更优的性能。
引用
@article{arxiv.2503.04046,
title = {Continual Optimization with Symmetry Teleportation for Multi-Task Learning},
author = {Zhipeng Zhou and Ziqiao Meng and Pengcheng Wu and Peilin Zhao and Chunyan Miao},
journal= {arXiv preprint arXiv:2503.04046},
year = {2025}
}
备注
10 pages,8 figures