XMixup：基于跨域 Mixup 利用辅助样本的高效迁移学习
机器学习
2020-07-21 v1 计算机视觉与模式识别
机器学习
摘要
从大型源数据集迁移知识，是以小样本量微调目标任务深度神经网络的有效途径。已有大量算法推动深度迁移学习的发展，这些技术通常可分为两类——利用源数据集预训练模型对目标任务进行正则化学习，以及联合源与目标数据集进行多任务学习以训练共享骨干网络。本工作中，我们旨在通过跨域 Mixup（XMixup）改进深度迁移学习的多任务范式。现有多任务学习算法需在源与目标数据集上均进行反向传播，通常梯度复杂度较高，而 XMixup 更高效地将知识从源任务迁移至目标任务：对目标任务的每一类，XMixup 从源数据集中选取辅助样本，并通过简单的 mixup 策略增广训练样本。我们在六个真实世界迁移学习数据集上评估 XMixup。实验结果表明，XMixup 平均提升准确率 1.9%。与其他最先进（SOTA）迁移学习方法相比，XMixup 训练耗时显著更少，同时仍取得更高准确率。
引用
@article{arxiv.2007.10252,
title = {XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup},
author = {Xingjian Li and Haoyi Xiong and Haozhe An and Chengzhong Xu and Dejing Dou},
journal= {arXiv preprint arXiv:2007.10252},
year = {2020}
}