具有连通切核的尺度不变贝叶斯神经网络
机器学习
2022-10-03 v1 人工智能
摘要
解释泛化能力并防止过度自信预测是研究神经网络损失景观的核心目标。平坦度（定义为对预训练解扰动的损失不变性）在此背景下被广泛接受为泛化的预测指标。然而，已有研究指出平坦度与泛化界可随参数尺度任意改变的问题，且先前研究仅在限制下部分解决该问题：反直觉地，其泛化界对于函数保持的参数尺度变换仍可变，或仅限于不实用的网络结构。作为更基础的解决方案，我们通过将参数的尺度与连通性解耦，提出对尺度变换不变的新型先验与后验分布，从而使所得泛化界能描述更广泛网络类在更实用变换（如带批量归一化的权重衰减）下的泛化能力。我们还表明上述问题会对拉普拉斯近似的不确定性校准产生不利影响，并提出使用我们不变后验的解决方案。我们在实证中证明，在此类实用参数变换情形下，我们的后验以低复杂度提供了有效的平坦度与校准度量，依据我们的理论依据支持其实际有效性。
引用
@article{arxiv.2209.15208,
title = {Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel},
author = {SungYub Kim and Sihwan Park and Kyungsu Kim and Eunho Yang},
journal= {arXiv preprint arXiv:2209.15208},
year = {2022}
}