RotoGrad：多任务学习中的梯度均质化
机器学习
2022-02-17 v3
摘要
多任务学习正日益被应用于计算机视觉和强化学习等应用领域。然而，由于负迁移的影响，充分发挥其优势仍是一项重大挑战。已有研究将这一问题归因于在优化共享网络参数时各任务间梯度幅度和方向的差异。尽管近期工作已认识到负迁移是一个双重问题，但现有方法存在不足，因为它们仅关注于均质化各任务间的梯度幅度，或贪心地改变梯度方向而忽视未来的冲突。在本工作中，我们提出 RotoGrad 算法，将负迁移作为一个整体来处理：它联合均质化梯度幅度与方向，同时确保训练收敛。我们表明，在包括 CelebA 中的多标签分类和 NYUv2 数据集中的计算机视觉任务等复杂问题上，RotoGrad 优于对比方法。Pytorch 实现可在 https://github.com/adrianjav/rotograd 找到。
引用
@article{arxiv.2103.02631,
title = {RotoGrad: Gradient Homogenization in Multitask Learning},
author = {Adrián Javaloy and Isabel Valera},
journal= {arXiv preprint arXiv:2103.02631},
year = {2022}
}
备注
Spotlight at ICLR 2022. 24 pages, 9 figures