针对最差小组鲁棒性的仪器相关嵌入正则化
机器学习
2026-03-03 v2 人工智能
摘要
深度学习模型在 various 领域取得强大的性能，但常依赖于虚假关联，使其对分布迁移脆弱。这一问题在亚群体迁移场景中尤为严重，模型在代表性不足的群体中表现差。虽然现有方法在缓解这一问题方面取得了进展，但其性能提升仍受限。它们缺乏将嵌入空间表示与最差群体误差建立严格理论联系的框架。为解决这一局限，我们提出了针对最差群体鲁棒性的仪器相关嵌入正则化（SCER），这是一种直接正则化特征表示以抑制虚假线索的新方法。我们在理论上表明，最差群体误差受模型依赖虚假线索与核心方向程度的影响，这些方向通过跨域和跨类的群体均值嵌入差异被识别。通过在嵌入层施加理论约束，SCER鼓励模型聚焦于核心特征，同时降低对虚假模式的敏感性。通过在多个视觉和语言任务上的系统评估，我们表明SCER在最差群体准确率上超过了先前的SOTA方法。我们的代码可在 \href{https://github.com/MLAI-Yonsei/SCER}{https://github.com/MLAI-Yonsei/SCER} 获取。
引用
@article{arxiv.2511.04401,
title = {Spurious Correlation-Aware Embedding Regularization for Worst-Group Robustness},
author = {Subeen Park and Joowang Kim and Hakyung Lee and Sunjae Yoo and Kyungwoo Song},
journal= {arXiv preprint arXiv:2511.04401},
year = {2026}
}