生成式与判别式领域自适应的原则性混合方法
机器学习
2017-10-31 v2 人工智能
摘要
我们提出了一个用于领域自适应的概率框架，该框架以一种原则性的方式融合了生成式建模与判别式建模。在此框架下，生成式模型和判别式模型对应于参数先验的特定选择。这为我们提供了一种非常通用的方法，通过不同的先验选择在生成式与判别式两个极端之间进行插值。通过同时最大化边缘对数似然和条件对数似然，由此框架导出的模型既可以使用来自源域的已标注实例，也可以使用来自源域和目标域的未标注实例。在此框架下，我们证明了流行的自编码器重构损失对应于未标注实例负边缘对数似然的一个上界，其中边缘分布由适当的核密度估计给出。这为解释自编码器在领域适应和半监督学习中的经验成功提供了一种途径。我们使用神经网络实例化了该框架，并构建了一个具体模型 DAuto。在经验上，我们展示了 DAuto 在文本、图像和语音数据集上的有效性，表明当领域适应可行时，它优于相关的竞争者。
引用
@article{arxiv.1705.09011,
title = {Principled Hybrids of Generative and Discriminative Domain Adaptation},
author = {Han Zhao and Zhenyao Zhu and Junjie Hu and Adam Coates and Geoff Gordon},
journal= {arXiv preprint arXiv:1705.09011},
year = {2017}
}