紧支撑神经网络

神经网络在许多领域广受欢迎且有用，但它们存在对远离训练数据的样本给出高置信度响应的问题。这使得神经网络在犯严重错误时仍对其预测非常自信，从而限制了它们在自动驾驶、太空探索等安全关键应用中的可靠性。本文引入一种新颖的神经元泛化形式，其以标准基于点积的神经元和径向基函数（RBF）神经元作为形状参数的两个极端情形。使用修正线性单元（ReLU）作为激活函数，得到一种具有紧支撑的新颖神经元，即其输出在有界域外为零。为解决所提神经网络的训练困难，本文引入一种新颖训练方法：取一个预训练的标准神经网络，在微调的同时逐渐将形状参数增大至期望值。本文的理论发现包括所提神经元梯度的界，以及证明具有此类神经元的神经网络具备通用逼近性质。这意味着该网络可以任意精度逼近任何连续且可积的函数。在标准基准数据集上的实验结果表明，所提方法比最先进的竞争方法测试误差更小，并且在三个数据集中的两个上在检测分布外样本方面优于竞争方法。