信噪比变化与分布偏移下摊销推断的统计评估

自世纪之交以来，随着新的计算技术被纳入以处理日益复杂和大规模的预测问题，近似贝叶斯推断稳步发展。深度神经网络和基础模型近期的成功催生了统计建模中的一种新范式，其中贝叶斯推断可以通过大规模学习的预测器进行摊销。在摊销推断中，前期投入大量计算来训练一个神经网络，该网络随后能够在广泛的任务中以可忽略的边际成本生成近似后验或预测。在部署时，与传统的贝叶斯方法相比，摊销推断提供了大量的计算节省，传统方法通常需要对每个新数据集进行重复的似然评估或蒙特卡洛模拟以进行预测。尽管摊销推断日益流行，但其统计解释及其在贝叶斯推断中的作用仍未被充分理解。本文从统计角度阐述了包括前馈网络、Deep Sets和Transformer在内的几种主要神经架构的工作原理，并考察了这些架构如何自然地支持摊销贝叶斯推断。我们讨论了这些模型如何以在广泛的部署场景中产生可控泛化误差的方式进行结构化近似和概率推理，以及如何利用这些特性进行贝叶斯计算。通过模拟研究，我们评估了摊销推断在不同信噪比和分布偏移下的准确性、鲁棒性和不确定性量化，突出了其优势与局限性。