扩散过程的独立投影：变分推断与最优平均场近似的梯度流
概率论
2024-10-10 v2 偏微分方程分析
机器学习
摘要
用一个坐标相互独立的高维扩散过程来近似原高维扩散过程的最优方式是什么？本文给出一种称为\emph{独立投影}的构造，它对两个自然准则而言是最优的。首先，当原扩散过程可逆且不变测度为时，独立投影作为相对熵在乘积测度空间上约束的Wasserstein梯度流。这与统计文献中近期提出的基于Langevin的均值场变分推断采样方案相关。此外，我们给出了独立投影长时间收敛的定性与定量结果，其中对数凹情形下的定量结果通过一种新变体的对数Sobolev不等式得到。其次，在所有坐标独立的进程中，独立投影被证明具有相对于原扩散的路径空间熵最慢的增长率。这为经典的McKean-Vlasov方程及近期针对非交换系统提出的变体提供了新视角，这些可视为独立投影的特例。
引用
@article{arxiv.2309.13332,
title = {Independent projections of diffusions: Gradient flows for variational inference and optimal mean field approximations},
author = {Daniel Lacker},
journal= {arXiv preprint arXiv:2309.13332},
year = {2024}
}