用 EL_2O 解放后验推断

解析上不可处理的后验的统计推断是一个困难问题，因为涉及相关变量的边缘化，通常使用 MCMC 和 VI 等随机方法。我们认为 MCMC 和 VI 所使用的随机 KL 散度最小化是有噪声的，并转而提出 EL_2O，即近似对数后验 q 与 p 的未归一化对数后验之间 L_2 距离平方的期望优化。当从 q 采样时，该解在大样本极限下与基于 VI 的随机 KL 散度最小化一致；然而 EL_2O 方法无采样噪声，具有更好的优化性质，并且若 q 覆盖 p，则仅需与所优化参数数量相同的样本评估次数。因此，增加 q 的表达能力可同时提升结果质量与收敛速率，使 EL_2O 逼近精确推断。利用自动微分方法，我们开发了该方法的 Hessian、梯度和无梯度版本，分别能用单个样本确定 q 的 M(M+2)/2+1、M+1 和 1 个参数。EL_2O 提供对近似后验质量的可靠估计，并在 q 的全秩高斯近似及其扩展（如非线性变换和高斯混合）上快速收敛。这些可处理一般后验，同时仍允许快速解析边缘化。我们在若干例子上测试了该方法，包括一个现实的 13 维星系成团分析，表明其比 MCMC 快数个数量级，同时给出平滑且准确的非高斯后验，通常仅需几次到几十次迭代。