不变关联表示与标签：稳定噪声环境下的域生成优化
机器学习
2025-02-11 v2 人工智能
摘要
不变风险最小化 (IRM) 方法旨在通过训练跨多个环境保持不变的特征表示来解决域生成的挑战。然而，在噪声环境中，IRM 相关技术如 IRMv1 和 VREx 可能无法实现最佳 IRM 解决方案，主要由于优化方向错误。为此，我们引入 ICorr（即 Invariant Correlation 的缩写），一种旨在克服上述挑战的新方法。此外，我们进行了案例研究以分析为何以前的方法在 ICorr 成功的原因。从因果论角度，我们说明，在噪声环境中，表示与标签之间的不变关联是实现最佳不变预测器的必要条件，而其他方法的优化动机可能并非如此。此外，我们通过在 various noisy 数据集上与其他域生成方法进行比较，实证证明了 ICorr 的有效性。代码已公开于 https://github.com/Alexkael/ICorr。
引用
@article{arxiv.2407.01749,
title = {Invariant Correlation of Representation with Label: Enhancing Domain Generalization in Noisy Environments},
author = {Gaojie Jin and Ronghui Mu and Xinping Yi and Xiaowei Huang and Lijun Zhang},
journal= {arXiv preprint arXiv:2407.01749},
year = {2025}
}