利用解耦正则化器驾驭困难混合样本

Mixup 是一种高效的数据增强方法,通过用混合数据平滑决策边界来提升神经网络泛化能力。近来,动态 mixup 方法通过最大化混合样本中目标相关的显著区域,有效改进了以往的静态策略(如线性插值),但过高的额外时间成本难以接受。这些额外计算开销主要来自根据混合标签优化混合样本。然而,我们发现额外的优化步骤可能是冗余的,因为标签不匹配的混合样本对深度模型而言是有助于定位判别性特征的信息性困难混合样本。因此,本文不试图提出更复杂的动态 mixup 策略,而是提出一种带解耦正则化器的高效 mixup 目标函数,称为解耦 Mixup(DM)。其主要效果是 DM 能自适应利用那些困难混合样本来挖掘判别性特征,同时不丧失 mixup 原有的平滑性。结果,DM 使静态 mixup 方法无需任何额外计算即可达到可与动态方法媲美甚至超越其性能的效果。这也引出了 mixup 训练中有趣的目标设计问题:我们需要同时关注平滑决策边界与识别判别性特征。在七个数据集上的监督与半监督学习基准的大量实验验证了 DM 作为即插即用模块的有效性。源代码与模型见 https://github.com/Westlake-AI/openmixup。