多任务学习中信息迁移的理解与改进
机器学习
2020-05-05 v1 计算与语言
摘要
我们研究使用所有任务共享特征表示的多任务学习方法。为更好理解任务信息的迁移，我们研究一种对所有任务有共享模块、对每个任务有独立输出模块的架构。我们在线性与 ReLU 激活模型上研究该设定的理论。我们的关键观察是，任务数据是否良好对齐会显著影响多任务学习的性能。我们表明任务数据间的错位会导致负迁移（或损害性能），并给出正迁移的充分条件。受理论见解启发，我们表明对齐任务的嵌入层可在 GLUE 基准与情感分析任务上带来多任务训练与迁移学习的性能提升；例如，使用我们的对齐方法，我们在 5 项 GLUE 任务上相较 BERT-LARGE 取得平均 2.35% 的 GLUE 分数提升。我们还设计了一种基于 SVD 的任务重加权方案，并表明它提升了多标签图像数据集上多任务训练的鲁棒性。
引用
@article{arxiv.2005.00944,
title = {Understanding and Improving Information Transfer in Multi-Task Learning},
author = {Sen Wu and Hongyang R. Zhang and Christopher Ré},
journal= {arXiv preprint arXiv:2005.00944},
year = {2020}
}
备注
Appeared in ICLR 2020