具有零偏置的标量不变网络

与权重一样，偏置项是许多流行机器学习模型（包括神经网络）的可学习参数。偏置被认为增强了神经网络的表征能力，使其能解决计算机视觉中的多种任务。然而，我们通过从第一性原理考虑输入空间中图像的内在分布以及期望的模型性质，论证对于某些图像相关任务（如图像分类）可以忽略偏置。我们的发现表明，对于实际图像分类任务，零偏置神经网络可表现得与有偏置网络相当。我们证明零偏置神经网络具备一种称为标量（乘法）不变性的有价值性质。这意味着当输入图像的对比度改变时，网络的预测保持不变。我们将标量不变性推广到更一般的情况，从而能够对输入空间的某些凸区域进行形式化验证。此外，我们证明零偏置神经网络在预测零图像时是公平的。与可能对某些标签表现出偏置的最先进模型不同，零偏置网络对所有标签具有均匀置信。我们认为在图像分类神经网络架构设计中丢弃偏置项可视为一种几何先验，这与采用卷积作为平移不变性先验的思路一致。零偏置神经网络的鲁棒性和公平性优势也可能指明通往可信且符合伦理的 AI 的有前景路径。