SelecMix：通过对立样本对采样实现去偏学习

使用 ERM（经验风险最小化）训练的神经网络有时会学习到非预期的决策规则，特别是当训练数据存在偏差时，即训练标签与不良特征强相关。为防止网络学习此类特征，近期方法通过增强训练数据，使展现虚假相关（即与偏差对齐的样本）的例子成为少数，而另一类与偏差冲突的例子成为多数。然而，这些方法有时难以训练并扩展到真实世界数据，因为它们依赖生成模型或解耦表示。我们提出一种基于 mixup 的替代方案，mixup 是一种通过对训练样本作凸组合来增广的流行方法。我们的方法称为 SelecMix，将 mixup 应用于对立样本对，其定义为展现 (i) 相同标签但不同偏差特征，或 (ii) 不同标签但相似偏差特征的样本对。识别此类样本对需要依据未知的偏差特征对样本进行比较。为此，我们利用一个辅助对比模型，并采用偏差特征在训练中优先被学习的流行启发式假设。在标准基准上的实验证明了该方法的有效性，尤其在标签噪声使偏差冲突样本的识别变得复杂时。