随机加权的合理有效性:多任务学习的一块试金石
机器学习
2022-07-28 v2
摘要
多任务学习(MTL)已在多个领域取得成功。然而,如何平衡不同任务以获得良好性能是一个关键问题。为实现任务平衡,已有许多工作精心设计了动态损失/梯度加权策略,却忽略了检验其有效性的基本随机实验。本文提出随机加权(RW)方法,包括随机损失加权(RLW)和随机梯度加权(RGW),其中MTL模型使用从分布中采样的随机损失/梯度权重进行训练。为展示RW方法的有效性和必要性,我们从理论上分析了RW的收敛性,并揭示RW有更高的概率逃离局部极小值,从而获得更好的泛化能力。在实证上,我们广泛评估所提出的RW方法,在五个图像数据集和来自XTREME基准的两个多语言问题上与十二种最先进的方法进行比较,表明RW方法能达到与最先进基线相当的性能。因此,我们认为RW方法是MTL的重要基线,应引起更多关注。
引用
@article{arxiv.2111.10603,
title = {Reasonable Effectiveness of Random Weighting: A Litmus Test for Multi-Task Learning},
author = {Baijiong Lin and Feiyang Ye and Yu Zhang and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2111.10603},
year = {2022}
}