MaxGNR：一种通过最大化梯度噪声比实现多任务学习的动态权重策略
计算机视觉与模式识别
2023-02-21 v1 机器学习
摘要
在计算机视觉中对相关任务进行建模时，多任务学习（MTL）因其能够捕捉任务间的内在关联性，性能可优于单任务学习（STL）。然而，MTL 可能会遇到训练不足的问题，即与 STL 相比，MTL 中的某些任务可能无法达到最优状态。一系列研究指出，过多的梯度噪声会导致 STL 的性能下降，然而在 MTL 场景下，任务间梯度噪声（ITGN）是每个任务梯度噪声的额外来源，同样会影响优化过程。在本文中，我们指出 ITGN 是导致训练不足问题的关键因素。我们定义了梯度噪声比（GNR）来衡量梯度噪声的相对大小，并设计了 MaxGNR 算法，通过最大化每个任务的 GNR 来减轻每个任务的 ITGN 干扰。我们在两个标准的图像 MTL 数据集：NYUv2 和 Cityscapes 上仔细评估了我们的 MaxGNR 算法。结果表明，在相同的实验条件下，我们的算法优于基线方法。
引用
@article{arxiv.2302.09352,
title = {MaxGNR: A Dynamic Weight Strategy via Maximizing Gradient-to-Noise Ratio for Multi-Task Learning},
author = {Caoyun Fan and Wenqing Chen and Jidong Tian and Yitian Li and Hao He and Yaohui Jin},
journal= {arXiv preprint arXiv:2302.09352},
year = {2023}
}
备注
ACCV 2022