周期激活函数诱导平稳性
机器学习
2021-12-21 v2 机器学习
摘要
已知神经网络模型会强化隐藏的数据偏差，使其不可靠且难以解释。我们试图通过在函数空间中引入归纳偏置来构建“知道其所不知”的模型。我们表明，贝叶斯神经网络中的周期激活函数建立了网络权重先验与平移不变、平稳的高斯过程先验之间的联系。此外，我们表明这种联系超越了正弦（傅里叶）激活函数，同样涵盖三角波和周期 ReLU 激活函数。在一系列实验中，我们表明周期激活函数对域内数据获得了可比的性能，并在深度神经网络中捕获了对扰动输入的敏感性以进行域外检测。
引用
@article{arxiv.2110.13572,
title = {Periodic Activation Functions Induce Stationarity},
author = {Lassi Meronen and Martin Trapp and Arno Solin},
journal= {arXiv preprint arXiv:2110.13572},
year = {2021}
}
备注
Appeared in Advances in Neural Information Processing Systems (NeurIPS 2021)