PAC-Bayes 与域适应
机器学习
2019-11-19 v3
摘要
我们在 PAC-Bayesian 域适应理论中提供了两个主要贡献，其目标是从源分布中学习一个在不同但相关的目标分布上表现良好的多数投票。首先，我们提出了先前在 Germain 等人 (2013) 中方法的一种改进，该方法依赖于基于不一致性平均的新颖分布伪距离，使得我们能够推导出一个针对目标风险的更紧的域适应界。尽管该界处于常见域适应工作的精神内，我们推导了第二个界（在 Germain 等人, 2016 中引入），它通过推导目标风险的上界为域适应带来了新视角，其中分布的散度——表示为一个比率——控制了源误差度量与目标投票者不一致性之间的权衡。我们讨论并比较了这两个结果，从中得到了 PAC-Bayesian 泛化界。此外，从 PAC-Bayesian 对线性分类器的特化，我们推导出两种学习算法，并在真实数据上对其进行了评估。
引用
@article{arxiv.1707.05712,
title = {PAC-Bayes and Domain Adaptation},
author = {Pascal Germain and Amaury Habrard and François Laviolette and Emilie Morvant},
journal= {arXiv preprint arXiv:1707.05712},
year = {2019}
}
备注
Neurocomputing, Elsevier, 2019. arXiv admin note: substantial text overlap with arXiv:1503.06944