Co-Mixup：显著性引导的联合 Mixup 与超模多样性

尽管深度神经网络在拟合训练分布上表现优异，提升网络对测试分布的泛化性能以及对输入扰动的鲁棒性仍具挑战。尽管已有若干基于 mixup 的数据增强策略部分应对了这些问题，但从优化视角看，如何最佳地利用每个输入数据中的监督信号进行 mixup 仍不明确。我们提出批量 mixup 的新视角，并将最大化各 mixup 数据显著性度量并鼓励所构造 mixup 数据间超模多样性的最优批量 mixup 数据构建问题公式化。这导出一个最小化子模函数之差的新型离散优化问题。我们还提出一种高效的基于模近似的迭代子模最小化算法，适用于基于小批量训练的神经网络的高效 mixup 计算。实验表明，与其他 mixup 方法相比，所提方法在泛化、校准和弱监督定位上取得了 SOTA 结果。源代码见 https://github.com/snu-mllab/Co-Mixup。