模糊如同集成:利用空间平滑提升准确率、不确定性与鲁棒性

神经网络集成,如贝叶斯神经网络(BNNs),在不确定性估计和鲁棒性方面已展现出成功。然而,一个关键挑战阻碍了它们在实践中的使用。BNNs 需要大量预测才能产生可靠结果,导致计算成本显著增加。为缓解此问题,我们提出空间平滑,一种对卷积神经网络相邻特征图点进行空间集成的方法。通过简单地向模型添加少量模糊层,我们凭经验表明空间平滑在一系列集成规模下提升了 BNNs 的准确率、不确定性估计和鲁棒性。特别地,结合空间平滑的 BNNs 仅用少数几个集成即可实现高预测性能。此外,该方法也可应用于标准确定性神经网络以提升性能。大量证据表明,这些改进可归因于稳定的特征图和损失景观的平滑。另外,我们通过将全局平均池化、预激活和 ReLU6 视为空间平滑的特例,为先前工作提供了基础性解释。这些不仅提升准确率,还如同空间平滑一样通过使损失景观更平滑来改善不确定性估计和鲁棒性。代码见 https://github.com/xxxnell/spatial-smoothing。