捷径不变性：解耦潜空间中的目标雅可比正则化
机器学习
2026-03-10 v2 计算机视觉与模式识别
机器学习
摘要
深度神经网络容易学习捷径——训练数据中存在的虚假相关性，会损害分布外（OOD）泛化能力。大多数先前工作通过输入空间重加权来缓解捷径学习，要么依赖显式的捷径标签，要么从每个样本损失的启发式方法中推断捷径结构。此外，这些方法通常假设训练集中存在某些捷径冲突样本，而这一假设在实践中经常被违反，特别是在医学成像领域，数据来自具有不同采集协议的多个机构。我们提出一种潜空间方法，将捷径学习视为对捷径对齐轴的过度依赖。在解耦潜空间中，我们通过捷径轴与标签之间的强相关性来识别候选捷径对齐轴，并通过训练期间注入目标各向异性噪声来降低分类器对它们的依赖。与先前潜空间方法移除、投影或对抗性抑制捷径特征不同，我们的方法保留了完整表示，而是通过对分类器沿这些轴的敏感性进行正则化来施加功能不变性。我们证明注入各向异性噪声会诱导目标雅可比和曲率正则化，有效地沿捷径轴展平决策边界，同时使核心特征维度基本不受影响。我们的方法在标准捷径学习基准测试上取得了最先进OOD性能，无需捷径标签或捷径冲突样本。
引用
@article{arxiv.2511.19525,
title = {Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space},
author = {Shivam Pal and Sakshi Varshney and Piyush Rai},
journal= {arXiv preprint arXiv:2511.19525},
year = {2026}
}