不变性配对引导学习：增强神经网络的鲁棒性
机器学习
2025-02-27 v1
摘要
机器学习模型的分布外推（out-of-distribution generalization）仍然具有挑战性，因为模型本质上受限于训练数据分布。尤其是在所学模型依赖于伪相关（spurious correlations）时，这一现象尤为突出。目前大多数方法通过数据操控、表征学习或学习策略来实现可泛化的模型，但这些方法通常需要多个训练域、组标签、专业化的数据增强或预处理才能获得可泛化的模型。我们提出了一种新方法，通过在训练阶段引导神经网络，以此解决上述局限性。我们首先建立输入配对，这些配对代表了伪属性并描述了不变性（invariance）特征——即该特征不应影响模型的输出。基于这些配对，我们构建一种纠正梯度，以补充传统的梯度下降方法。进一步，我们根据预定义的不变性条件使该纠正机制具有自适应性。在ColoredMNIST、Waterbird-100和CelebA数据集上的实验结果表明，我们的方法有效且对组迁移（group shifts）具有鲁棒性。
引用
@article{arxiv.2502.18975,
title = {Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks},
author = {Martin Surner and Abdelmajid Khelil and Ludwig Bothmann},
journal= {arXiv preprint arXiv:2502.18975},
year = {2025}
}