基于变换模型的统计保证及其在隐式变分推断中的应用
统计理论
2020-11-06 v2 机器学习
机器学习
统计理论
摘要
基于变换的方法因其独特的层次结构（将数据建模为一组公共潜变量的灵活变换）而成为非参数推断（如无条件与条件密度估计）中有吸引力的方法。近来，基于变换的模型已被用于变分推断(VI)中以构造灵活的隐式变分分布族。然而，它们在非参数推断和变分推断中的使用均缺乏理论依据。我们通过证明在密度空间中由变换诱导的先验的支撑在意义下足够大，为非线性潜变量模型(NL-LVMs)在非参数推断中的使用提供了理论依据。我们还证明，当在变换函数上施加高斯过程(GP)先验时，后验以最优速率（至多相差一个对数因子）集中。借助非参数设定中所展现的灵活性，我们使用NL-LVM构造了一个隐式变分分布族，称为GP-IVI。我们给出了GP-IVI在Kullback-Leibler散度意义下达到最优风险界并逼近真实后验的充分条件。据我们所知，这是首个为隐式变分推断提供理论保证的工作。
引用
@article{arxiv.2010.14056,
title = {Statistical Guarantees for Transformation Based Models with Applications to Implicit Variational Inference},
author = {Sean Plummer and Shuang Zhou and Anirban Bhattacharya and David Dunson and Debdeep Pati},
journal= {arXiv preprint arXiv:2010.14056},
year = {2020}
}
备注
First two authors contributed equally to this work. arXiv admin note: text overlap with arXiv:1701.07572