自动拉普拉斯折叠抽样：通过自动微分实现隐参数的可扩展边际化

我们提出自动拉普拉斯折叠抽样（ALCS）框架，用于通过自动微分对贝叶斯模型中的隐参数进行边际化，并将其与 nested sampling 结合，以稳健且高效的方式探索超参数空间。在每个 nested sampling 似然评估中，ALCS 通过最大后验概率（MAP）优化和拉普拉斯近似，将高维隐变量 $z$ 折叠为标量贡献，两者均使用自动微分计算。这将有效维度从 $d_theta + d_z$ 降低至仅 $d_theta$，使高维情景下的贝叶斯证据计算变得可行，而无需手工推导的梯度或 Hessian，也无需大量模型特定的工程。MAP 优化和 Hessian 计算在 GPU 硬件上并行化到 live points 上，使方法在规模上具有实用性。我们还展示，自动微分使超出拉普拉斯的局部近似成为可能，适用于诸如 Student-$t$ 等参数族，从而改善了重尾隐变量的证据估计。在一组覆盖层次模型、时间序列模型和离散似然模型的基准测试中验证 ALCS，确立了高斯近似何时成立的条件。此外，这使我们能够进行后验的 ESS 诊断，而无需昂贵的联合抽样，即可在超参数空间中定位故障。