针对层次模型的变分推断：条件尺度与偏度校正
统计方法学
2026-04-02 v3
摘要
高斯变分近似广泛用于贝叶斯模型中后验分布的总结，尤其在高维情境下。然而，这类近似的一个缺点是无法捕捉后验分布的偏度或更复杂的特征。最近的研究表明，对现有的高斯或其他对称近似应用偏度校正可用于克服此限制。我们提出将偏度校正纳入近似变分家族的定义中。我们考虑层次模型的后验，其中包含“全局”和“局部”参数。以基准变分近似为定义：全局参数的后验边缘分布为高斯分布，局部参数在给定全局参数时的条件后验分布也为高斯分布。随后考虑偏度校正。局部变量的条件后验项调整会适应全局参数的值。基准变分参数的优化与偏度校正一起进行。我们的方法允许位置、尺度和偏度分别被捕捉，而无需为偏度调整额外引入参数。该方法在计算成本仅稍增的情况下显著提高了相对于最先进的高斯近似的准确性。我们在广义线性混合模型和多项逻辑离散选择模型中展示了良好的性能。
引用
@article{arxiv.2503.18075,
title = {Variational inference for hierarchical models with conditional scale and skewness corrections},
author = {Lucas Kock and Linda S. L. Tan and Prateek Bansal and David J. Nott},
journal= {arXiv preprint arXiv:2503.18075},
year = {2026}
}