FMix：增强混合样本数据增强

混合样本数据增强（MSDA）近年来受到越来越多的关注，并出现了许多成功变体，如 MixUp 和 CutMix。通过研究 VAE 在原始数据与增强数据上所学函数之间的互信息，我们表明 MixUp 以一种 CutMix 不会的方式扭曲所学函数。我们进一步通过展示 MixUp 充当一种对抗训练的形式来证实这一点，它提升了对诸如 Deep Fool 和均匀噪声等攻击的鲁棒性，这些攻击产生的样本与 MixUp 生成的样本相似。我们认为这种扭曲阻止模型学习数据中样本特有的特征，从而助益泛化性能。相反，我们认为 CutMix 更类似于传统增强，通过防止过拟合来提升性能而不扭曲数据分布。然而，我们认为若在 CutMix 基础上构建一种使用任意形状（而非仅为方形）掩码的 MSDA，可在保持数据分布的同时进一步防止过拟合。为此，我们提出 FMix，一种使用通过对从傅里叶空间采样的低频图像施加阈值所获得的随机二值掩码的 MSDA。这些随机掩码可呈现多种形状，并可生成用于一维、二维和三维数据。FMix 在多个数据集与问题设定下的一系列模型上，无需增加训练时间即超越 MixUp 和 CutMix 的性能，并在无外部数据的情况下于 CIFAR-10 上取得新的单模型 SOTA 结果。最后，我们表明诸如 MixUp 的插值型 MSDA 与诸如 FMix 的掩码型 MSDA 之间的差异所带来的一个结果是，二者可结合以进一步提升性能。所有实验代码见 https://github.com/ecs-vlc/FMix 。