论贝叶斯神经网络后验中的置换对称性：一种变分视角
机器学习
2023-10-17 v1 机器学习
摘要
神经网络中基于梯度的优化的难以捉摸的本质与其损失景观几何相关，而后者鲜为人知。然而近期工作提供了确凿证据：在考虑令网络计算不变的权重置换后，梯度下降的局部解之间本质上不存在损失屏障。这为贝叶斯神经网络(BNN)中的近似推断带来了问题，因为我们关注于对损失景观中多个点进行边际化。本工作中，我们首先将边际化损失屏障与解插值的形式推广至BNN，随后提出一种匹配算法以搜索线性连通解。这是通过针对置换矩阵对齐两个独立近似贝叶斯解的分布来实现的。我们基于Ainsworth等人(2023)的结果，将问题重构为组合优化问题，使用对双线性分配问题之和的近似。随后我们在多种架构与数据集上实验，发现线性连通解的边际化损失屏障近乎为零。
引用
@article{arxiv.2310.10171,
title = {On permutation symmetries in Bayesian neural network posteriors: a variational perspective},
author = {Simone Rossi and Ankit Singh and Thomas Hannagan},
journal= {arXiv preprint arXiv:2310.10171},
year = {2023}
}