柯西-施瓦茨正则化自编码器
机器学习
2021-02-15 v2 计算机视觉与模式识别
摘要
近期无监督学习的研究集中于潜变量模型中的高效推断与学习。通过最大化证据（边缘似然）来训练这些模型通常是难处理的。因此，一种常见的近似是转而最大化证据下界（ELBO）。变分自编码器（VAE）是一类强大且广泛使用的生成模型，可针对大型数据集高效优化ELBO。然而，VAE默认采用高斯先验对其表征真实后验的能力施加了强约束，从而降低了整体性能。高斯混合模型（GMM）将是更丰富的先验，但由于GMM的Kullback-Leibler散度难以处理，无法在VAE框架内高效处理。我们偏离常见VAE框架，转而采用具有高斯混合先验解析解的框架。为对GMM先验进行高效推断，我们基于柯西-施瓦茨散度引入了一个新的带约束目标，该散度对GMM可解析计算。这一新目标使我们能将更丰富的多模态先验纳入自编码框架。我们在多个数据集上提供了实证研究，表明我们的目标在密度估计、无监督聚类、半监督学习和人脸分析方面优于变分自编码模型。
引用
@article{arxiv.2101.02149,
title = {Cauchy-Schwarz Regularized Autoencoder},
author = {Linh Tran and Maja Pantic and Marc Peter Deisenroth},
journal= {arXiv preprint arXiv:2101.02149},
year = {2021}
}