鲁棒损失函数的课程视角

鲁棒损失函数旨在对抗标签噪声的负面影响，其鲁棒性通常由与训练动态无关的理论界所支持。然而，这些界可能无法刻画经验性能，因为为何鲁棒损失函数会欠拟合仍不清楚。我们表明大多数损失函数可重写为具有相同类得分间隔（class-score margin）与不同样本加权函数的形式。由此产生的课程视角（curriculum view）提供了对训练动态的直接分析，有助于将欠拟合归因于平均样本权重的减小，并将噪声鲁棒性归因于干净样本较大的权重。我们展示了对课程设计的简单修正可使欠拟合的鲁棒损失函数与最先进（state-of-the-art）方法相竞争，且即使使用鲁棒损失函数，训练调度（training schedules）也能大幅影响噪声鲁棒性。代码见 \url{github}。