基于 TAP 自由能的平均场变分推断：线性模型中的几何与统计性质

我们研究在样本量 n 与维度 p 相当时，贝叶斯线性模型中的平均场变分推断。在高维情形下，常用的从后验分布最小化 Kullback-Leibler 散度或最大化证据下界的方法，可能偏离真实后验均值并低估后验不确定性。我们转而研究 TAP 自由能的最小化，并在高维渐近框架下证明它具有一个局部极小点，可提供对后验边缘的一致估计，并可用于正确校准的后验推断。在几何上，我们证明 TAP 自由能的景观在该局部极小点的一个广延邻域内是强凸的，在特定一般条件下可由近似消息传递（AMP）算法找到该极小点。随后我们给出一种高效算法，能在该局部邻域内线性收敛至该极小点。在某些猜想不存在高效算法可找到该局部邻域的情形中，我们证明了 AMP 可达的 TAP 自由能局部极小点具有类似的几何性质，并表明基于该极小点的后验推断仍被正确校准。