Recon：从根源减少多任务学习中的冲突梯度
机器学习
2023-02-23 v1 人工智能
摘要
多任务学习的一个基本挑战是，当不同任务联合求解时可能相互冲突，而该现象的一个成因是优化过程中的冲突梯度。近期工作试图基于某些准则直接修改梯度，以减轻冲突梯度的影响。然而，我们的实证研究表明，“梯度手术”无法有效减少冲突梯度的出现。在本文中，我们采取一种不同的方法，从根源上减少冲突梯度。具体而言，我们考察各共享网络层上的任务梯度，选出冲突分数较高的层，并将其转变为任务特定层。我们的实验表明，这种简单的方法能大幅减少剩余共享层中冲突梯度的出现，并取得更好的性能，且在许多情况下仅带来模型参数的轻微增加。我们的方法可轻松应用于改进各类最先进方法，包括梯度操控方法与分支架构搜索方法。给定一种网络架构（如 ResNet18），只需搜索一次冲突层，该网络便可被修改以在同一甚至不同数据集上配合不同方法使用，从而获得性能提升。源代码见 https://github.com/moukamisama/Recon。
引用
@article{arxiv.2302.11289,
title = {Recon: Reducing Conflicting Gradients from the Root for Multi-Task Learning},
author = {Guangyuan Shi and Qimai Li and Wenlong Zhang and Jiaxin Chen and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2302.11289},
year = {2023}
}
备注
Accepted as a conference paper at ICLR 2023