利大于弊还是弊大于利？通过标签增强学习最小方差特征

在过去十年中，数据增强对于成功训练用于分类任务的深度学习模型起到了关键作用。数据增强技术的一个重要子类（包括标签平滑和 Mixup）不仅修改输入数据，还在模型训练过程中修改输入标签。在本文中，我们分析了此类方法中标签增强部分所起的作用。我们首先证明，在二分类数据上采用标签增强训练的线性模型仅学习数据中的最小方差特征，而标准训练（包括权重衰减）则可以学习更高方差的特征。随后，我们利用我们的技术表明，即使对于非线性模型和一般数据分布，标签平滑和 Mixup 损失也由模型输出方差的函数给出下界。最后，我们通过实证表明，标签平滑和 Mixup 的这一方面既可能产生积极影响，也可能产生消极影响。一方面，我们展示了标签平滑和 Mixup 在图像分类基准测试中的优异性能与学习低方差隐藏表示相关。另一方面，我们展示了 Mixup 和标签平滑可能更容易受到训练数据中方差较低的虚假相关性的影响。