GradMix：跨域与跨任务的多源迁移
计算机视觉与模式识别
2020-02-11 v1
摘要
计算机视觉界正以前所未有的速度提出并解决新任务，这得益于深度卷积网络能够从X到Y找到复杂映射的能力。每个任务的提出通常伴随大规模标注数据集的发布，用于深度网络的有监督训练。然而，人工标注足量训练数据昂贵且耗时。因此，开发能够利用现成标注数据集为目标任务学习有用知识的算法十分重要。先前工作多聚焦于单源迁移学习，我们则在半监督设定下研究跨域与跨任务的多源迁移（MS-DTT）。我们提出GradMix，一种与模型无关的方法，适用于任何以基于梯度的学习规则训练的模型，通过在训练中对所有源的梯度进行加权与混合，经由梯度下降迁移知识。GradMix遵循元学习目标，为源梯度分配逐层权重，使组合梯度沿最小化目标数据集一小部分样本损失的方向。此外，我们提出基于其对目标任务的重要性自适应调整每个mini-batch的学习率，以及一种伪标注方法以利用目标域中未标注样本。我们在数字识别与动作识别两个任务上进行MS-DTT实验，并证明所提方法相较多个基线具有优越性能。
引用
@article{arxiv.2002.03264,
title = {GradMix: Multi-source Transfer across Domains and Tasks},
author = {Junnan Li and Ziwei Xu and Yongkang Wong and Qi Zhao and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2002.03264},
year = {2020}
}