面向带辅助任务多任务学习的样本级加权
机器学习
2023-06-08 v1 人工智能
摘要
多任务学习(MTL)可通过与相关任务共享表示来提升神经网络的泛化性能。然而,MTL 也可能因任务间有害干扰而降低性能。近期研究将任务特定损失加权作为解决该干扰的方案。但现有算法将任务视为原子整体,缺乏在任务层面之外显式分离有害与有益信号的能力。为此,我们提出 SLGrad,一种面向带辅助任务多任务学习的样本级加权算法。通过样本特定任务权重,SLGrad 在训练过程中重塑任务分布,以消除有害的辅助信号并增强有用的任务信号。在(半)合成数据集与常见监督多任务问题上观察到了显著的泛化性能提升。
引用
@article{arxiv.2306.04519,
title = {Sample-Level Weighting for Multi-Task Learning with Auxiliary Tasks},
author = {Emilie Grégoire and Hafeez Chaudhary and Sam Verboven},
journal= {arXiv preprint arXiv:2306.04519},
year = {2023}
}
备注
16 pages, 7 figures