深度联合迁移学习的最优传输
计算机视觉与模式识别
2017-09-12 v1
摘要
从零开始训练深度神经网络(DNN)需要大量标注数据。对于仅有少量训练数据可用的分类任务,一种常见的解决方案是对使用相关源数据预训练的 DNN 进行微调。这种连续的训练过程耗时,且未显式考虑不同源任务与目标任务之间的相关性。本文提出一种新方法,利用源数据与目标数据联合微调深度神经网络。通过在源分类器上添加源分类器预测与目标分类器预测之间的最优传输损失(OT loss)作为约束,所提出的联合迁移学习网络(JTLN)能够有效从源数据学习对目标分类有用的知识。此外,通过使用不同类型的度量作为 OT 损失的代价矩阵,JTLN 可以融入关于目标类别与源类别之间相关性的不同先验知识。我们基于 Alexnet 在图像分类数据集上进行了 JTLN 实验,结果验证了所提 JTLN 相较于标准连续微调的有效性。这种带 OT 损失的联合迁移学习具有通用性,也可应用于其他类型的神经网络。
引用
@article{arxiv.1709.02995,
title = {Optimal Transport for Deep Joint Transfer Learning},
author = {Ying Lu and Liming Chen and Alexandre Saidi},
journal= {arXiv preprint arXiv:1709.02995},
year = {2017}
}