SAE：序贯锚定集成

由于参数空间的高维性，计算神经网络的贝叶斯后验是一项具有挑战性的任务。锚定集成（anchored ensembles）通过在专为使最优点遵循贝叶斯后验而设计的锚定损失上训练神经网络集成来近似后验。然而，随着集成成员数量的增长，训练一个集成在计算上变得昂贵，因为每个成员都要重复完整的训练过程。在本札记中，我们提出序贯锚定集成（SAE），一种轻量级的锚定集成替代方案。成员并非从零开始各自训练，而是以高自相关性采样的损失上序贯训练，从而实现神经网络的快速收敛与贝叶斯后验的高效近似。在给定计算预算下，SAE 在一些基准上优于锚定集成，而在其他基准上表现相当，并在 NeurIPS 2021 贝叶斯深度学习中的近似推断竞赛的轻量与扩展赛道中分获第二与第三名。