通过身份级判别特征抑制正则化神经网络训练

众所周知，深度神经网络具有强大的拟合能力，即使使用随机分配的类标签也能轻松实现较低的训练误差。当训练样本数量较少或类标签含有噪声时，网络倾向于记忆特定于各个实例的模式以最小化训练误差。这导致了过拟合和泛化性能差的问题。本文探索了一种补救方法，通过抑制网络依赖实例特定模式来最小化经验误差的倾向。所提出的方法基于对抗训练框架。它抑制那些可用于在每个类内样本中识别单个实例的特征。这使得分类器仅使用在类间具有判别性且在类内共有的特征。我们将我们的方法称为身份特征对抗抑制（ASIF），并展示了该技术在面对小数据集或噪声标签时提升泛化准确性的效用。我们的源代码已公开。