深度变分迁移：通过半监督深度生成模型进行迁移学习
机器学习
2018-12-10 v1 机器学习
摘要
在真实应用中，获取带标签样本通常昂贵且耗时。在此类情况下，从标签丰富的相关领域迁移知识可大幅减少大量标注工作的需求。在此场景下，迁移学习便派上用场。本文中，我们提出深度变分迁移（DVT），一种利用共享隐高斯混合模型跨领域迁移知识的变分自编码器。得益于半监督 ELBO 与跨领域参数共享的结合，我们能够同时：(i) 将同一类别的所有有监督样本对齐至相同的隐高斯混合分量，与其领域无关；(ii) 预测来自不同领域的无监督样本的类别，并利用它们更好地建模发生的偏移。我们在 MNIST 与 USPS 数字数据集上测试，展示了 DVT 跨异构数据集进行迁移学习的能力。此外，我们在 MNIST 半监督学习挑战赛上呈现了 DVT 的顶尖分类性能。我们进一步在天文数据集上验证 DVT。DVT 在跨真实恒星巡天数据集 EROS、MACHO 与 HiTS 迁移知识时达到了最先进的分类性能。在最差性能下，我们将稀有类的 F1-score 翻倍。这些实验表明 DVT 能应对迁移学习提出的全部主要挑战：不同的协变量分布、不同且高度不平衡的类别分布以及不同的特征空间。
引用
@article{arxiv.1812.03123,
title = {Deep Variational Transfer: Transfer Learning through Semi-supervised Deep Generative Models},
author = {Marouan Belhaj and Pavlos Protopapas and Weiwei Pan},
journal= {arXiv preprint arXiv:1812.03123},
year = {2018}
}