深度神经网络分类中被良好分类样本被低估

学习深度分类模型的常规思路是关注分类错误的样本，而忽略远离决策边界且已被良好分类的样本。例如，在使用交叉熵损失进行训练时，具有较高似然（即被良好分类的样本）在反向传播中贡献的梯度更小。然而，我们从理论上表明，这种常见做法阻碍了表示学习、能量优化和间隔增长。为抵消这一缺陷，我们提出通过附加奖励来激励被良好分类的样本，以恢复它们对学习过程的贡献。这一反例在理论上解决了这三个问题。我们通过直接验证理论结果，或在图像分类、图分类和机器翻译等多种任务上借助我们的反例取得显著性能提升，来为上述论断提供实证支持。此外，本文表明我们可以处理复杂场景，如不平衡分类、OOD 检测和对抗攻击下的应用，因为我们的思路能够解决这三个问题。代码见：https://github.com/lancopku/well-classified-examples-are-underestimated。