理解数据增强在类别层面的不利影响

数据增强（DA）编码不变性并提供隐式正则化，这对模型在图像分类任务中的性能至关重要。然而，尽管 DA 提高了平均准确率，但近期研究表明其影响可能高度依赖于类别：在 ImageNet 上，实现最优平均准确率的代价是显著损害个别类别的准确率，降幅高达 20%。由于对这些影响的理解有限，解决类别层面准确率下降的问题进展甚微。在这项工作中，我们提出了一个框架，用于理解 DA 如何与类别层面的学习动态相互作用。利用 ImageNet 上更高质量的多标签标注，我们系统地对受影响的类别进行了分类，发现其中大多数本质上是模糊的、共现的或涉及细粒度区分，而 DA 控制着模型对密切相关类别之一的偏向。虽然许多先前报告的性能下降可由多标签标注解释，但我们对类别混淆的分析揭示了准确率下降的其他来源。我们表明，基于我们框架设计的简单类别条件增强策略能够改善受负面影响类别的性能。