奇妙的多任务梯度更新及其在锥中的寻优方法
机器学习
2025-02-04 v1 人工智能
计算机视觉与模式识别
摘要
平衡相互竞争的目标仍是多任务学习（MTL）中的一项根本挑战，主要源于各任务间相互冲突的梯度。一种常见的解决方案依赖于计算一个动态梯度更新向量，以在优化过程中平衡相互竞争的任务。基于这一思想，我们提出 ConicGrad，一种原则性强、可扩展且鲁棒的 MTL 方法，其形式化为一个约束优化问题。我们的方法引入了一个角度约束，以动态调节梯度更新方向，将其限制在一个以整体目标参考梯度为中心的锥体内。通过平衡任务特定梯度而不对其方向或幅度施加过度约束，ConicGrad 有效解决了任务间梯度冲突。此外，我们的框架确保了计算效率和对高维参数空间的可扩展性。我们在标准的监督学习和强化学习 MTL 基准上进行了广泛实验，并证明 ConicGrad 在多种任务上均达到了最先进的性能。
引用
@article{arxiv.2502.00217,
title = {Fantastic Multi-Task Gradient Updates and How to Find Them In a Cone},
author = {Negar Hassanpour and Muhammad Kamran Janjua and Kunlin Zhang and Sepehr Lavasani and Xiaowen Zhang and Chunhua Zhou and Chao Gao},
journal= {arXiv preprint arXiv:2502.00217},
year = {2025}
}
备注
16 pages, 7 figures, 5 tables