理解实例级标签噪声：差异性影响与处理方式

本文旨在理解过参数化模型（例如深度神经网络）记忆实例依赖型噪声标签所产生的影响。我们首先量化了记忆噪声实例所造成的危害，并展示了噪声标签对于具有不同表示频率的样本实例的差异性影响。接着我们分析了几种流行的带噪标签学习解决方案如何在实例级别减轻这种危害。我们的分析揭示，现有方法在处理噪声实例时导致了差异性处理。虽然高频实例通常因应用这些解决方案而享有较高的改善概率，低频实例则不然。我们的分析为这些方法何时奏效提供了新的理解，并为先前报道的经验观察提供了理论依据。这一观察要求我们重新思考标签噪声在实例间的分布，并呼吁对不同区间的实例采取不同的处理方式。