深度潜变量核学习
机器学习
2020-08-20 v2 机器学习
摘要
深度核学习（DKL）利用高斯过程（GP）与神经网络（NN）之间的联系构建端到端的混合模型。它结合了 NN 在海量数据下学习丰富表示的能力，以及 GP 的非参数特性，以实现融合模型拟合与模型复杂度权衡的自动正则化。然而，由于自由的潜表示，确定性编码器可能削弱后续 GP 部分的正则化，尤其在小型数据集上。因此我们提出一个完整的深度潜变量核学习（DLVKL）模型，其中潜变量执行随机编码以获得正则化表示。我们进一步从两方面增强 DLVKL：（i）通过神经随机微分方程（NSDE）构造更具表达力的变分后验以提升近似质量；（ii）融合来自 SDE 先验与后验知识的混合先验，以实现灵活的权衡。大量实验表明，DLVKL-NSDE 在小型数据集上表现与校准良好的 GP 相近，并在大型数据集上优于现有的深度 GP。
引用
@article{arxiv.2005.08467,
title = {Deep Latent-Variable Kernel Learning},
author = {Haitao Liu and Yew-Soon Ong and Xiaomo Jiang and Xiaofang Wang},
journal= {arXiv preprint arXiv:2005.08467},
year = {2020}
}
备注
13 pages, 8 figures, preprint under review