混合样本数据增强的统一分析：从损失函数视角
机器学习
2022-08-23 v1 计算机视觉与模式识别
摘要
我们提出首个针对混合样本数据增强（MSDA，如 Mixup 和 CutMix）的统一理论分析。我们的理论结果表明，无论混合策略如何选择，MSDA 都表现为对底层训练损失在像素层面的正则化以及对第一层参数的正则化。类似地，我们的理论结果支持 MSDA 训练策略相比原始训练策略能够提升对抗鲁棒性和泛化能力。利用理论结果，我们提供了关于不同 MSDA 设计选择如何产生不同效果的高层理解。例如，我们表明最流行的 MSDA 方法 Mixup 和 CutMix 表现不同：CutMix 按像素距离正则化输入梯度，而 Mixup 不顾像素距离正则化输入梯度。我们的理论结果还表明最优 MSDA 策略依赖于任务、数据集或模型参数。基于这些观察，我们提出广义 MSDA——Mixup 和 CutMix 的混合版本（HMix）与高斯 Mixup（GMix），它们是 Mixup 和 CutMix 的简单扩展。我们的实现能够利用 Mixup 和 CutMix 的优势，同时实现非常高效，计算开销与 Mixup 和 CutMix 相比几乎可忽略。我们的实证研究表明，在 CIFAR-100 和 ImageNet 分类任务中，我们的 HMix 和 GMix 优于先前的 state-of-the-art MSDA 方法。源代码见 https://github.com/naver-ai/hmix-gmix
引用
@article{arxiv.2208.09913,
title = {A Unified Analysis of Mixed Sample Data Augmentation: A Loss Function Perspective},
author = {Chanwoo Park and Sangdoo Yun and Sanghyuk Chun},
journal= {arXiv preprint arXiv:2208.09913},
year = {2022}
}
备注
First two authors contributed equally; 29 pages